检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云硬盘（系统盘和数据盘） 计费因子：云硬盘类型、容量。 购买云硬盘成功后，将立即开始计费，计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 云硬盘单价请参见云硬盘价格计算器。
ion启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YA
仅支持集群节点创建时默认挂载的数据盘完整扩容，自行挂载的数据盘仅能扩容云硬盘（EVS）容量，无法扩展磁盘分区和文件系统，需参考扩展数据盘的分区和文件系统（Linux）进行处理或联系华为云技术支持进行处理。 扩展磁盘分区和文件系统时，只能将新增容量扩展至磁盘的尾部分区，系统盘为多分区，故暂不支持系统盘扩容。
一定程度的价格优惠。 表1 支持变更计费模式的MRS计费项 计费项 变更说明 相关文档 MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘
计费模式概述 MRS当前支持包年/包月和按需计费模式，以满足不同场景下的用户需求。 包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。 按需计费：节点按实际使用时长计费，计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode容量不足，会影响到HDFS的数据写入。 可能原因 集群磁盘容量已满。
partition为Topic分区。 replicas中的数字对应Broker_ID。replicas必须与分区的副本数相对应，不然会造成副本缺少的情况。在本案例中分区所在的replicas对应6和5，只迁移Broker_ID为6的节点的分区中的数据时，也必须把Broker_ID为5的节点的分区带上。 log_d
partition为Topic分区。 replicas中的数字对应Broker_ID。replicas必须与分区的副本数相对应，不然会造成副本缺少的情况。在本案例中分区所在的replicas对应6和5，只迁移Broker_ID为6的节点的分区中的数据时，也必须把Broker_ID为5的节点的分区带上。 log_d
1及之后版本） 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库，在告警上报时间段若主实例异常可能
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点
数据表报错Too many parts解决方法 问题排查步骤 磁盘或其他存储介质问题导致merge过慢或者中止。 登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。 如果是磁盘容量不足，也可以联系客户删除部分过期数据，释放空间，快速恢复业务。
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。 原因分析 磁盘为卸载重装
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 系统性能下降，慢盘会导致系统I/O性能下降，从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢（例如
MRS集群节点配置 配置节点磁盘类型时，根据磁盘使用的存储资源是否独享，磁盘划分为“云硬盘”、“专属分布式存储”。 云硬盘：提供规格丰富、安全可靠、可弹性扩展的硬盘资源，满足不同性能要求的业务场景。 如果未申请独享的存储池，请选择“云硬盘”，创建的磁盘使用公共存储资源。 专属分布
MRS”，进入MRS现有集群列表。 单击需要查询的集群名称，单击“节点管理”，查询并记录需要查看费用账单的集群节点ID。 图1 查看集群节点ID 单击需要查询的节点名称，进入对应节点的弹性云服务器界面，在“云硬盘”界面中，单击系统盘和数据盘名称左侧的，查看并记录各云硬盘的“ID”值。 单击“基本信息
YARN开发指南（安全模式） YARN应用开发简介 YARN接口介绍
提交Spark任务时Driver端提示运行内存超限 Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 JDK版本不匹配导致启动spark-sql和spark-shell失败 Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
