检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install --version确认选择setuptools对应版本的easy_install，如/usr/local/bin/easy_install 使用对应的easy_install命令，依次安装dependency_python3
easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install --version确认选择setuptools对应版本的easy_install，如/usr/local/bin/easy_install 使用对应的easy_install命令，依次安装dependency_python3
SQL基本概念和Spark Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。
setReducerClass(CollectionReducer.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionReducer
Manager首页，单击“运维 > 告警 > 告警”，查看否存在“ALM-14008 HDFS DataNode内存使用率超过阈值”的告警。 是，执行11。 否，执行13。 参考ALM-14008 DataNode堆内存使用率超过阈值的处理步骤，对该异常告警进行处理，查看是否消除该告警。 是，执行12。 否，执行13。
告警 > 告警”，查看是否有该NameNode节点的ID为“12016”“ALM-12016 CPU使用率超过阈值”告警。 是，执行9 否，11 按照ALM-12016 CPU使用率超过阈值告警处理文档，处理该告警。 处理完12016告警后，等待10分钟，查看该告警是否自动消除。
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers>
值负载。集群Task节点主要用于处理数据，不存放持久数据。 支持扩容的节点类型：Master、Core节点和Task节点。 扩容增加的节点使用root用户登录时，密码默认为创建集群时设置的密码。 约束条件 对于已安装HBase组件的节点组扩容时： 如果集群没有开启节点自动注册DN
告警属性 告警ID 告警级别 是否可自动清除 50225 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
10/3.1.5.0.3及之后补丁版本 否：MRS 3.3.0之前版本 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。
告警属性 告警ID 告警级别 是否自动清除 12069 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。无法对aos上层应
告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期，OMS数据库无法管理，数据不能访问。
告警属性 告警ID 告警级别 是否自动清除 12101 紧急 是 告警参数 告警参数 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 AZ名 产生告警的AZ名称。 主机名 产生告警的主机名。 对系统的影响 AZ的健康状态由AZ内的存储资源（HDFS）、计算
OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。
对系统的影响 GC时间超出阈值，会影响到OMS主要进程的读写，可能导致任务执行变慢，甚至服务异常重启。 可能原因 该节点OMS主要进程内存使用率过大，或配置的内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager界面，选择“运维 >
MRS 2.x及之前版本：引导操作脚本以root身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su - xxx命令切换用户。 MRS 3.x及之后版本：引导操作脚本以omm身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id
创建MRS集群数据恢复任务 Manager支持在界面上创建恢复任务，运行恢复任务将把指定的备份数据恢复到集群中。 创建数据恢复任务（MRS 3.x及之后版本） 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI认证服务不可用，无法对Web上层服务提供安全认证和用户管理功能，可能引起无法登录Manager和组件的WebUI。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
