检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例推荐4:1，堆外内存和Core的比例1:1。 示例： spark-submit
DataNode写失败的日志 短时间内写入大量文件导致这种情况，因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置，以及机器剩余内存是否充足。 增加DataNode内存，并重启DataNode。 父主题： 使用HDFS
ALM-12016 CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（可配置，默认值为10）超出阈值范围时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，
合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、
无业务情况下，RegionServer占用CPU高 问题背景 无业务情况下，RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。 根据RegionServer的进程编号，获取该进程下线程使用CPU情况。 top -H
ALM-50205 BE CPU使用率超过阈值 告警解释 系统每30秒周期性检测BE CPU使用率。当检测到CPU使用率连续多次（默认值为3）超出阈值范围（默认值为95%）时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的85%时，告警恢复。
ALM-50202 FE CPU使用率超过阈值 告警解释 系统每30秒周期性检测FE CPU使用率。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（默认值为3）超出阈值范围（默认值为95%）时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑
medium、large、xlarge。 D表示内存、CPU比，以具体数字表示，例如4表示内存和CPU的比值为4。 ECS规格 表1 通用计算增强型（C型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 C3型 32 64 c3.8xlarge.2 KVM
CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在YARN中，CGroups特性对容器（container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当
参数取值范围为0~1，表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G，如果参数设置为0，则表示不限制，那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。
CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当
ALM-12201 进程CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。当检测到CPU使用率连续多次（默认值为10）超出阈值范围时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的90%时，告警恢复。
合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、
ALM-29106 Tserver进程CPU占用率过高 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程CPU占用率过高时，此时产生该告警。 Tserver进程CPU占用率正常时，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。
ALM-45005 HetuEngine计算实例CPU负载使用率超过阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的平均CPU负载使用率，当检测到HetuEngine计算实例的CPU负载使用率大于90%时产生该告警。 Het
ALM-25008 SlapdServer CPU使用率超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的CPU使用率，并把实际CPU使用率和阈值相比较，当检测到SlapdServer CPU使用率连续多次（默认值为5）超过设定阈值时，系统将产生此告警。 平滑
当使用BMS类型的规格时，不支持升级Master节点规格。 仅当集群的“计费模式”为“包年/包月”时，MRS支持使用BMS类型的规格。 MRS支持的弹性云服务器（ECS）和裸金属服务器（BMS）混合部署，部署方式如下： Master、Core和Task节点均使用ECS部署。 Mast
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
