检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息 父主题： 使用Yarn
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： Hudi应用开发规范
ClickHouse用户权限管理 ClickHouse用户权限说明 创建ClickHouse角色 配置ClickHouse对接OpenLDAP认证系统 父主题： 使用ClickHouse
ClickHouse运维管理 ClickHouse日志介绍 ClickHouse集群管理 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 集群内ClickHouseServer节点间数据迁移 父主题： 使用ClickHouse
配置MRS集群节点引导操作 MRS节点引导操作概述 准备MRS节点引导操作脚本 添加MRS节点引导操作安装第三方软件 查看MRS节点引导操作执行记录 父主题： 管理MRS集群节点
创建FlinkServer作业对接DWS表 创建FlinkServer作业写入数据至HBase表 创建FlinkServer作业写入数据至HDFS文件系统 创建FlinkServer作业写入数据至Hive表 创建FlinkServer作业写入数据至Hudi表 创建FlinkServer作业写入数据至Kafka消息队列
ClickHouse运维管理 ClickHouse日志介绍 收集ClickHouse系统表转储日志 配置ClickHouse表为只读表模式 集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 导致解密失败，影响解密相关功能，例如DBservice安装等。 可能原因 rngd服务异常。 处理步骤 在MRS集群详情页面，单击“告警管理”。
WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理
Executor堆内存参数 使用External Shuffle Service提升Spark Core性能 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题： 使用Spark/Spark2x
os认证。 说明： Kerberos认证模式不支持手动修改，集群创建成功后将无法开启和关闭此功能，需要在创建MRS服务集群的时候选择开启或者关闭Kerberos服务，建议重新创建集群。 企业项目 集群所属的企业项目，仅现有集群列表支持单击企业项目名称进入对应项目的企业项目管理页面。
户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveServer客户端中不能访问，但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端，系统将以当前登录操作系统用户来执行DDL命令。
Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader模型主要由Loader Client和Loader
zookeeper/hadoop.<系统域名> 系统随机生成 ZooKeeper系统启动用户。 zkcli/hadoop.<系统域名> 系统随机生成 登录Zookeeper服务器用户。 oozie 系统随机生成 Oozie系统启动与Kerberos认证用户。 kafka/hadoop.<系统域名> 系统随机生成
策略，控制用户对MRS集群资源的使用范围。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用MRS服务的其它功能。 IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block.size par
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
说明： 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以
Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题： 使用Spark2x（MRS 3.x及之后版本）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
