检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标所属服务：指标所属的服务名名称，标明指标所属的服务类型，如HDFS、HBase等。 指标所属角色：指标所属的角色名名称，标明指标所属的实际角色类型，如JobServer、RegionServer等。 配置MRS集群监控指标数据转储（MRS 3.x及之后版本） 登录FusionInsight Manager。
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。
创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要
MRS集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。 在MRS管理控制台，按照集群维度，在集群信息页面的告警页签中能够提供选择是否使能通知服务，只有对应集群开关开启以后，才能实现以下场景的功能：
访问集群Manager 操作场景 MRS集群使用FusionInsight Manager对集群进行监控、配置和管理，用户在集群安装完成后即可登录FusionInsight Manager。 通过弹性IP访问FusionInsight Manager 登录MRS管理控制台页面。
导入并配置SpringBoot样例工程 操作场景 为了运行MRS产品Hive组件的SpringBoot接口样例代码，需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
用于同步用户及用户组的内部用户。 rangertagsync 系统随机生成 用于同步标签的内部用户。 rangerobs/hadoop.<系统域名> 系统随机生成 Guardian访问ranger系统管理员用户。 jobserver 系统随机生成 JobGateway的系统管理员，用户权限： HDFS文件操作权限：
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器、云硬盘）组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子：MRS服务管理，以核为单位计费，每个Region计费不相同。包括：
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，选择“File
创建FlinkServer数据连接 操作场景 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。 创建数据连接 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理”，进入数据连接管理页面。
创建FlinkServer数据连接 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。 创建FlinkServer数据连接步骤 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
MRS 2.1.0.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.3 发布时间 2020-04-29 解决的问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
