检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode磁盘到80%，即需要及时扩容，请参考扩容集群。扩容完成后需进行数据均衡，请参考配置HDFS DataNode数据均衡。 如不能及时扩容，需要删除HDFS中的不需要数据，释放磁盘空间。 父主题： 使用HDFS
执行以下操作使得新扩容的磁盘容量生效。 如果是新增分区操作，请执行8。新增分区操作是指把扩容的磁盘容量分配给新的分区，并挂载新的ClickHouse数据目录到新增分区下，该操作不会有中断业务的影响。 如果是扩大已有分区操作，请执行15。扩大已有分区是指把扩容的磁盘容量分配给已
如果是新增分区操作，请执行8。新增分区操作是指把扩容的磁盘容量分配给新的分区，并挂载新的ClickHouse数据目录到新增分区下，该操作不会有中断业务的影响。 如果是扩大已有分区操作，请执行15。扩大已有分区是指把扩容的磁盘容量分配给已存在分区下，操作期间会有中断业务的影响，请谨慎操作，建议操作前先停止业务。
ALM-12187 磁盘分区扩容失败 告警解释 系统按60秒周期进行扫描，当检测到磁盘空间扩容后，会进行磁盘分区空间扩容操作，如果磁盘分区扩容失败，则触发此告警。 系统如果检测到磁盘空间扩容后，磁盘分区扩容成功，则告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 12187
障所导致。 处理步骤 针对磁盘容量不足产生的告警处理步骤，请参考ALM-12017 磁盘容量不足。 参考信息 HDFS磁盘空间使用率超过阈值处理步骤，请参考ALM-14001 HDFS磁盘空间使用率超过阈值。 父主题： 使用Spark
是，说明该磁盘为系统盘，执行3.a。 否，说明该磁盘为非系统盘，执行2.d。 执行df -h命令，查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称，判断该磁盘属于哪一个角色。 磁盘所属服务是否为HDFS或Yarn其中之一。 是，请为Core节点扩容磁盘。然后执行2
ode节点上各磁盘之间的数据均衡。 长时间运行的集群会因为曾经删除过大量的文件，或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。
扩容集群 场景描述 创建集群后，扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量，即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。
MRS集群更换磁盘（适用于2.x及之前） 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群，如需为流式集群或混合集群更换磁盘，请联系华为云技术支持处理。
单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台，单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令，查看新增磁盘分区信息。
ALM-12017 磁盘容量不足 告警解释 系统每30秒周期性检测磁盘使用率，并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值，当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1，主机磁盘某一分区使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机磁盘某一分区使用率小于或等于阈值的90%时，告警恢复。
ode节点上各磁盘之间的数据均衡。 长时间运行的集群会因为曾经删除过大量的文件，或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。
选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分
189-39-235-71:~ # 可能原因 部分磁盘故障，更换为新盘，因此新盘使用率低。 增加了磁盘个数，如原先4个数据盘，现扩容为5个数据盘。 原因分析 DataNode节点内写block磁盘时，有两种策略“轮询”和“优先写剩余磁盘空间多的磁盘”，默认是“轮询”。 参数说明：dfs.datanode
对系统的影响 diskmgt磁盘监控服务不可用时，影响系统对磁盘信息和分区信息的监控，如设备分区文件系统只读检测、设备分区丢失检测、磁盘分区扩容检测等。 可能原因 diskmgt磁盘监控服务不存在。 diskmgt磁盘监控服务未启动。 处理步骤 检查diskmgt磁盘监控服务是否存在。 登录FusionInsight
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scra
-d -x命令查看每个磁盘的最后一个指标“%util”： 各个磁盘的“%util”指标都超出阈值（默认值为80%），则考虑对Kafka磁盘进行扩容，扩容后，参考3，对Topic的Partition重新规划。 各个磁盘的“%util”指标差别较大，查看Kafka的磁盘分区配置信息。例如：
Yarn汇聚日志过大导致节点磁盘被占满 用户问题 集群的磁盘使用率很高。 问题现象 Manager管理页面下主机管理显示磁盘使用率过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。 Ma
MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
