检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“计算实例”,选择对应租户名下待操作的计算实例。单击“LogUI”列的“Coordinator”或“Worker”,将在Yarn WebUI展示Coordinator和Worker日志。 父主题: 管理HetuEngine计算实例
重启HetuEngine计算实例。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 停止正在运行的计算实例,然后单击待操作实例所在行的“操作”列的“启动”,启动HetuEngine计算实例。
购买专属云MRS集群 本章节为您介绍如何在您的专属资源上创建一个MRS集群。 如果您希望MRS服务运行在隔离的专属区域,请您先申请专属计算集群,再创建专属云MRS集群。 了解和申请专属计算集群,请参见《专属计算集群用户指南》。
HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。
低成本 基于多样化的云基础设施,提供了丰富的计算、存储设施的选择,同时计算存储分离,提供了低成本海量数据存储方案。MRS可以按业务峰谷,自动弹性伸缩,帮助客户节省大数据平台闲时资源。MRS集群可以用时再创建、用时再扩容,用完就可以删除、缩容,确保低成本。
方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
输入输出一对一,但结果RDD的分区结构发生了变化,如union(两个RDD合为一个,分区数变为两个RDD分区数之和)、coalesce(分区减少)。
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。
对系统的影响 OBS readFully接口调用失败数高于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。
对系统的影响 OBS write接口调用失败数高于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。
作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 在计算引擎上直接查询这个表里的数据。
对系统的影响 OBS read接口调用失败数高于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。
开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同时可以在计算引擎上直接查询这个表里的数据。
迭代计算(Iterative Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。
输入输出一对一,但结果RDD的分区结构发生了变化,如union(两个RDD合为一个,分区数变为两个RDD分区数之和)、coalesce(分区减少)。
输入输出一对一,但结果RDD的分区结构发生了变化,如union(两个RDD合为一个,分区数变为两个RDD分区数之和)、coalesce(分区减少)。
迭代计算(Iterative Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。
输入输出一对一,但结果RDD的分区结构发生了变化,如union(两个RDD合为一个,分区数变为两个RDD分区数之和)、coalesce(分区减少)。
输入输出一对一,但结果RDD的分区结构发生了变化,如union(两个RDD合为一个,分区数变为两个RDD分区数之和)、coalesce(分区减少)。
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。