检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。 当并发提交大量oozie任务的时候就有可能出现启动了一堆oozie-launcher，将队列的资源耗完，而没有更多资源启动真实作业，最终导致任务一直没有运行。 处理步骤 参
图3 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。
${SRV_HOME}/tmp/yarn-nm-recovery yarn.nodemanager.recovery.supervised NodeManager是否在监控下运行。开启此特性后NodeManager在退出后不会清理containers，NodeManager会假设自己会立即重启和恢复containers。
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量
当MRS集群部署失败时，集群会被自动删除或退订。 对于按需收费模式集群，如果作业执行结束后不需要集群， 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群， 可以退订MRS集群。 集群退订后，资源和数据将会被删除
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
表2 导出作业状态参数介绍 参数名称 参数描述 JobId 作业的ID，值唯一。 State 作业状态，包括： PENDING：作业待调度。 EXPORTING：数据导出中。 FINISHED：作业导出成功。 ANCELLED：导出作业运行失败。 Progress 作业进度，以查
MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集
MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt：数据输入文件
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
MRS安全增强 MRS作为一个海量数据管理和分析的平台，具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。
Crash风险。 已存在的HBase表可在hbase shell命令行中执行以下命令查看表详情，排查表描述中是否包含MOB关键字，如果包含，需联系系统运维人员修改为非MOB表。 desc '表名' 例如，以下回显信息中“IS_MOB”值为“true”表示启用了HBase MOB特性： hbase:009:0>
执行以下命令，根据实际业务需求，可参考Flume配置参数说明在Flume客户端配置文件“properties.properties”中配置并保存作业。 vi Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf/properties.properties
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
