检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。 在MRS管理控制台，按照集群维度，在集群信息页面的告警页签中能够提供选择是否使能通知服务，只有对应集群开关开启以后
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时
安装客户端（3.x及之后版本） 操作场景 该操作指导用户在MRS集群创建成功后安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 修改集群内组件的服务端配置后，建议重新安装客户端
准备Flink安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行
快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：支持迭代计算
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，集群管理员可以在Manager调整资源基数，并自定义资源配置组。 对系统的影响 配置静态服务池后，受影响的服务的配置状态将配置过期，需要重启服务，重启期间服务不可用
安装MRS客户端 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。 在集群外节点安装客户端前提条件
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads.mysql.com
添加MRS节点引导操作安装第三方软件 前提条件 已参考准备MRS节点引导操作脚本准备好引导操作脚本。 创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 在“高级配置”区域勾选“现在配置”
ClickHouse增加磁盘容量 随着业务量的增长，ClickHouse节点数据盘的磁盘容量已不能满足业务需求，需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费，扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse
准备连接Hive集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Hive权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
MRS集群用户权限模型 基于角色的权限控制 MRS集群通过采用RBAC（role-based access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管理的操作方法
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例工程文件夹中
ALM-14010 NameService服务异常 告警解释 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。 NameService服务恢复时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 14010 重要
Spark读写Hudi开发规范 Spark写Hudi各种写入模式参数规范说明 类型 说明 开启参数 场景选择 特点 upsert update + insert Hudi默认写入类型，写入具有更新能力。 默认，无需参数开启。 SparkSQL: set hoodie.datasource.write.operation
MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时
调测HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网IP
ALM-12033 慢盘故障（2.x及以前版本） 告警解释 MRS 2.x及以前版本： 对于HDD盘，满足以下任意条件时触发告警： 系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。 系统每3秒执行一次iostat命令，在300秒内有超过60%
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
