检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IoTDBServer直接内存使用率超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程直接内存使用状态，当连续5次检测到IoTDBServer实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。当IoTDBServer直接内存使用率小于或等于阈值时，告警恢复。
JDBCServer2x进程非堆内存使用率过高，会影响JDBCServer2x进程运行的性能，甚至造成内存溢出导致JDBCServer2x进程不可用，Spark JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
Kafka可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点Kafka实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 单击“ALM-38002 Kafka堆内存使用率超过阈值
ALM-13002 ZooKeeper内存使用量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测ZooKeeper服务内存使用状态，当检测到ZooKeeper实例内存使用量超出阈值（最大内存的百分之八十）时产生该告警。 内存使用率小于阈值时，告警恢复。 告警属性 告警ID
问题2：有些task运行失败会报上述错误。当看到这个报错的时候，需要确认的是丢失的这个task在哪个节点上面运行，一般的情况是这个丢失的task异常退出导致的。 处理步骤 问题1： 对于数据量过大，需要调整executor的内存大小的，使用--executor-memory指定内存大小； 对
hivesql SQL类型 SQL语句提交类型。 SQL：直接运行手动输入的SQL语句。 Script：以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。
ALM-29107 Tserver进程内存使用百分比超过阈值 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程内存使用百分比超过阈值，此时产生该告警。 Tserver进程内存使用百分比正常时，系统认为Kudu实例服务恢复，告警清除。 告警属性
NameNode内存使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测HDFS NameNode内存使用率，并把实际的HDFS NameNode内存使用率和阈值相比较。HDFS NameNode内存使用率指标默认提供一个阈值范围。当HDFS NameNode内存使用率超出阈值范围时，产生该告警。
DataNode内存使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测HDFS DataNode内存使用率，并把实际的HDFS DataNode内存使用率和阈值相比较。HDFS DataNode内存使用率指标默认提供一个阈值范围。当HDFS DataNode内存使用率超出阈值范围时，产生该告警。
对系统的影响 Storm Nimbus堆内存使用率过高时，可能造成频繁的内存垃圾回收，甚至造成内存溢出，进而影响Storm任务提交。 可能原因 该节点Storm Nimbus实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用量。 登录MRS集群详情页面，选择“告警管理”。
通第三方AD服务器。 是，执行7。 否，执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址，port为第三方AD服务器使用端口。 是，执行8。 否，联系运维人员检查网络。 联系第三方AD服务管理人员，检查AD服务是否正常。
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”： 可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS
准备Spark应用运行环境 操作场景 Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
r支持配置多个FTP服务器操作数据，单击“添加”可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
