检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Distinct聚合优化 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 当SQL中存在多个count(distinct)聚合函数，且存在cube，rollup等导致数据膨胀的算子时，使用该特性可以有效减少数据的膨胀倍数，且减少shuffle落盘的数据
SparkLauncher.launch()方法，将用户的应用程序提交。 将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中编包并运行Spark程序章节。 SparkLauncher程序的编译依赖包为spark-launcher_2
已经主备倒换，并在新主环境上启动新的controller资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12070 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。
当检测到有磁盘出现故障时产生该告警。 当DataNode上故障磁盘都恢复正常后，手动清除该告警，并重启该DataNode。 告警属性 告警ID 告警级别 是否自动清除 14027 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
yServer进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
DNS解析时长”修改阈值。 平滑次数为1，DNS解析时长小于等于阈值时，告警恢复；平滑次数不为1，DNS解析时长小于等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12043 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
config /opt/client/Kafka/kafka/config/consumer.properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前
MEM”参数设置内存。 设计分区方法 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 以下是几种分区方法。 随机分区：将元素随机的进行分区。 dataStream
平滑次数为1，堆内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，堆内存使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38002 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
次检测到RangerAdmin实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45277 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
测到RangerAdmin实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45279 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
c实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当TagSync直接内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45286 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
续5次检测到TagSync实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45287 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
r进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 当系统检测到垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45740 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
平滑次数为1，网络读包错误率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包错误率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12047 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。
用状态，当检测到Oozie实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache
当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 执行mvn package生成jar包，在工程目录target目录下获取，比如:hdfs-examples-1.0.jar。 将导出的Jar包拷贝上传至Linux客户端
of days of warning before password expires : 7 修改密码有效期 “机机”用户密码随机生成，密码默认永不过期。 “人机”用户密码的有效期可以在Manager页面通过修改密码策略进行修改。 具体操作如下： “人机”用户密码有效期可以参考修改密码策略章节修改。
compile命令进行编译。 图4 idea termial输入“mvn clean compile” 编译完成，打印“Build Success”，生成target目录。 图5 编译完成 运行程序。 右键“TestMain.java”文件，选择“Run 'TestMain.main() ”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
