检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
准备Flink应用开发用户 开发用户用于运行样例工程。在安全集群中，用户需要有HDFS、YARN、Kafka和Flink权限，才能运行Flink样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS
ues（保持源RDD的分区方式，这与map不同）； 对单个RDD重排，如sort、partitionBy（实现一致性的分区划分，这个对数据本地性优化很重要）； 对单个RDD基于key进行重组和reduce，如groupByKey、reduceByKey； 对两个RDD基于key进
ALM-50231 Doris中存在异常Tablet 告警解释 告警模块按5分钟周期检查Doris集群中是否存在异常的Tablet，当存在异常Tablet时，产生此告警。 当检测到Doris集群中不存在异常Tablet时，告警恢复。 该告警仅适用于MRS 3.5.0及之后版本。 告警属性
channelfullcount 10 Channel full次数，达到该次数后发送告警。 File Channel File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示： 图7 File Channel 表7 File
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例
ALM-12089 节点间网络互通异常 告警解释 告警模块按10s周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定，产生该告警。 当网络恢复正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12089 重要 是 告警参数 参数名称 参数含义
ALM-26054 Nimbus堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Storm Nimbus堆内存使用率，并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值（默认值为80%）时产生该告警。 用户可通过“运维
ALM-14024 租户空间使用率超过阈值 告警解释 系统每小时周期性检测租户所关联的每个目录的空间使用率（每个目录已使用的空间大小/每个目录分配的空间大小），并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时，产生该告警。
ALM-18009 JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce
xml”中（例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效，在现有的压缩格式列表中增加如下值： “com.huawei.hadoop.datasight.io.compress
ALM-12205 磁盘IO写入等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO写入等待时长，并把实际磁盘IO写入等待时长和阈值相比较。当检测到磁盘IO写入等待时长连续多次超出阈值范围（默认值为10s）时产生该告警。 当磁盘IO写入等待时长小于或等于阈值时，告警恢复。 该告警仅适用于MRS
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
ALM-12191 磁盘IO利用率超过阈值 告警解释 系统每30秒周期性检测磁盘IO利用率，并把实际磁盘IO利用率和阈值相比较。当检测到磁盘IO利用率连续多次（默认值为10）超出阈值范围时产生该告警。 平滑次数为1，磁盘IO利用率小于或等于阈值时，告警恢复；平滑次数大于1，磁盘I
HBase Phoenix API接口介绍 版本关系 若使用Phoenix，需下载与当前使用MRS集群相对应的Phoenix版本，具体请参见http://phoenix.apache.org。其对应关系如表1所示： 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本
Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权
ALM-12192 主机负载超过阈值 告警解释 系统每30秒周期性检测平均负载，并把实际平均负载和阈值相比较。当检测到平均负载连续多次（默认值为10）超出阈值范围时产生该告警。 平滑次数为1，平均负载小于或等于阈值时，告警恢复；平滑次数大于1，平均负载小于或等于阈值的90%时，告警恢复。
ALM-12204 磁盘IO读取等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO读取等待时长，并把实际磁盘IO读取等待时长和阈值相比较。当检测到磁盘IO读取等待时长连续多次超出阈值范围（默认值为10秒）时产生该告警。 当磁盘IO读取等待时长小于或等于阈值时，告警恢复。 该告警仅适用于MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
