检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因
问其他可用的正常节点。 在为MRS集群安装补丁的场景中，也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件（如HTML，CSS或JS文件）的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件（如HTML，CSS或JS文件）的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件（如HTML，CSS或JS文件）的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因
ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下：
正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不同Region间有网络隔离，MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统，需要用hadoop
性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置MRS集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件（如HTML，CSS或JS文件）的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致查询或写入延迟。 可能原因
0.9990 of total blocks 36293915. 打开Manager页面，查看NameNode的GC_OPTS参数配置如下： 图1 查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系
Base Service。 图1 添加HBase Service 请参考表1填写添加HBase Service的相关参数，未在表中列出的参数请保持默认值。 表1 参数说明 名称 说明 示例值 Service Name 创建的服务名称，固定填写：hbasedev。 hbasedev
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
引导操作可以在集群组件首次启动前/后在指定的节点上执行脚本。已运行的集群组件添加的引导操作，只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能，可以在配置资源计划的同时添加自动化脚本，则自动
MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 商用 Alluxio简介 3 MRS支持Tez组件 Tez是Apache最新的支持DAG作业的开源计算框架
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
