检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装MRS集群客户端 安装客户端（3.x版本） 安装客户端（2.x及之前版本）
管理MRS集群 查看MRS集群基本信息 查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置
配置MRS集群节点引导操作 MRS节点引导操作概述 准备MRS节点引导操作脚本 添加MRS节点引导操作安装第三方软件 查看MRS节点引导操作执行记录 父主题： 管理MRS集群节点
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离
运行MRS作业 运行MapReduce作业 运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题： 提交MRS作业
MapReduce访问多组件样例程序 导入样例工程之后，如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务。 不使用访问多组件样例程序时，如果不影响统计样例程序的正常编译，可忽略多组件样例程序相关报错信息，否则请在导入样例工程后将多组件样例程序类文件删除。
安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。
后才可以返回，强烈建议使用此参数；如果不使用sync，表示采用异步写入HBase的方式，可能存在丢失数据的风险。
hadoop 0 2016-04-22 15:19 /hbase drwxrwxrwx - mapred hadoop 0 2016-04-20 18:02 /mr-history drwxrwxrwx - spark
在Master节点上的客户端配置文件（例如“/opt/Bigdata/client/HBase/hbase/conf/core-site.xml”）中的增加如下参数配置（若集群存在多个Master节点，请分别登录每个Master节点进行该操作）。
HBase Sink HBase Sink将数据写入到HBase中。常用配置如下表所示： 表12 HBase Sink常用配置 参数 默认值 描述 channel - 与之相连的channel。 type - hbase sink的类型，必须设置为hbase。
该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值，如果单个map任务的错误记录超过设置阈值则任务自动结束，已经获取的数据不回退。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。
该参数仅在滚动重启HDFS、HBase、Yarn、Kafka、Storm、Flume时可设置。
hadoop 0 2016-04-22 15:19 /hbase drwxrwxrwx - mapred hadoop 0 2016-04-20 18:02 /mr-history drwxrwxrwx - spark
HBase、Hive、Spark和Loader组件可显示“亚健康”（Subhealthy）状态。 Yarn已安装且不正常时，HBase处于“亚健康”状态。 HBase已安装且状态不正常时，Hive、Spark和Loader处于“亚健康”状态。
导入并配置Spark样例工程 新建Spark样例工程（可选） 根据场景开发工程 提供了Scala、Java、Python三种不同语言的样例工程，还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。
HBase Sink HBase Sink将数据写入到HBase中。常用配置如下表所示： 表18 HBase Sink常用配置 参数 默认值 描述 channel - 与之相连的channel。 type - hbase sink的类型，必须设置为hbase。
导入并配置Spark样例工程 根据场景开发工程 提供了Scala、Java、Python三种不同语言的样例工程，还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。帮助用户快速了解Spark各部件的编程接口。
不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 OBS 表示将备份文件保存在OBS目录，还需配置“目的端路径”参数，值为保存备份数据的OBS目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
