检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12064 主机随机端口范围配置与集群使用端口冲突 告警解释 系统每一个小时检查一次主机随机端口配置范围是否与集群使用端口范围冲突，如果有冲突，则发送此告警。待客户重新修改该主机的随机端口范围配置到正常范围，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12064
ALM-14029 单副本的块数超过阈值 告警解释 系统每4个小时周期性检测单副本块的数量，并把当前单副本的块数和阈值相比较。单副本的块数量指标默认提供一个阈值范围。当检测到单副本的块数量超出阈值范围时产生该告警。 待补齐的块数量小于阈值时，告警恢复。 告警属性 告警ID 告警级别
执行Kakfa Topic创建操作时发现无法创建提示“replication factor larger than available brokers” 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。 kafka-topics.sh --create
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
ALM-45636 Flink作业连续checkpoint失败次数超阈值 本章节仅适用于MRS 3.3.1及以后版本。 告警解释 系统以用户配置的告警周期检查CheckPoint连续失败次数，如果FlinkServer作业CheckPoint连续失败次数达到用户配置的阈值，则发送
Hudi表概述 Hudi表类型 Copy On Write 写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再
ALM-12041关键文件权限异常（2.x及以前版本） 告警解释 系统每隔一个小时检查一次系统中关键目录或者文件权限、用户、用户组是否正常，如果不正常，则上报故障告警。 当检查到权限等均正常，则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12041 严重 是 告警参数 参数名称
Hudi表概述 Hudi表类型 Copy On Write 写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再
DataArts Studio调度Spark作业失败 问题现象 DataArts Studio作业调度失败，显示读取“/thriftserver/active_thriftserver”路径下的数据失败。 报错信息为： Can not get JDBC Connection, due
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 解决的问题
ALM-12186 用户CGroup任务数使用率超过阈值 告警解释 系统每5分钟周期性检测omm用户CGroup任务数使用情况，当CGroup任务使用率超过90%时产生该告警，当使用率小于或等于90%时，告警恢复。 CGroup任务使用率 = CGroup任务使用数 / 最大CGroup任务数。
ues（保持源RDD的分区方式，这与map不同）； 对单个RDD重排，如sort、partitionBy（实现一致性的分区划分，这个对数据本地性优化很重要）； 对单个RDD基于key进行重组和reduce，如groupByKey、reduceByKey； 对两个RDD基于key进
ALM-45639 Flink作业checkpoint完成时间超过阈值 本章节适用于MRS 3.1.5及以后版本。 告警解释 系统每30秒为周期检查Flink作业CheckPoint完成时间是否超过阈值（默认值：600秒），如果超过阈值则产生告警。作业CheckPoint完成时间小于或等于阈值，告警恢复。
IoTDB日志介绍 日志描述 日志路径：IoTDB相关日志的默认存储路径为“/var/log/Bigdata/iotdb/iotdbserver”（运行日志）、“/var/log/Bigdata/audit/iotdb/iotdbserver”（审计日志）。 日志归档规则：IoT
channelfullcount 10 Channel full次数，达到该次数后发送告警。 File Channel File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示： 图7 File Channel 表7 File
ALM-26054 Nimbus堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Storm Nimbus堆内存使用率，并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值（默认值为80%）时产生该告警。 用户可通过“运维
channelfullcount 10 Channel full次数，达到该次数后发送告警。 File Channel File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示： 图7 File Channel 表7 File
作业管理类 MRS集群支持提交哪些形式的Spark作业？ MRS节点访问OBS报错408如何处理？ 如何让不同的业务程序分别用不同的Yarn队列？ 提交作业失败，报错与OBS相关如何处理？ MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
ALM-18009 JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
