检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rpc.protection”配置项的值保持一致。 远端备份至HDFS，不支持HDFS加密目录。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
component14 -export-dir obs://obs-file-bucket/xx/part-m-00000 --fields-terminated-by ',' -m 1 sqoop import（MySQL到obs） sqoop import --connect
使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。 在YARN的Web UI界面，查找到对应的Fl
虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接 集群关联的数据连接类型。 委托 集群绑定或修改的委托。 密钥对 密钥对名称，创建集群时设置。 如
--negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。
安装补丁 安装补丁 将从OBS路径中下载的补丁（MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz）工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁，如果已存在，可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统包含一个目录中的全部数
概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器，云硬盘）组成。如需了解每种计费项的计费因子、计费公式等详细信息，请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程，请参见计费样例。 续费 包年/包
的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。
Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 无。 安装补丁的影响 安装MRS 2.0.1.1补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。 父主题：
运行。 图1 Active Jobs 继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark Streaming默认有两个尝试运行的Job，就是图中两个） 图2 Completed Jobs 回答 经过定位发现，导致这个问题的原因是：Spark
Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
S）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS，具体操作请参考备份MRS集群组件数据。 MRS 3.1.0及之后版本才支持备份数据到OBS。 备份恢复任务的使用场景如下： 用于日常备份，确保系统及组件的数据安全。 当系统
解决相同AZ下，扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警
下载认证凭据”，待文件自动生成后指定保存位置，并妥善保管该文件。 认证凭据中会携带kerberos服务的“krb5.conf”文件。 解压认证凭据文件后可以获取两个文件： “krb5.conf”文件包含认证服务连接信息。 “user.keytab”文件包含用户认证信息。 下载认证凭据文件（MRS
赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 本实践为您演示使用CDM云服务将MySQL数据导入到MRS集群内的Hive分区表中。 假设MySQL数据
登录Manager界面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JobHistory2x > 自定义 > custom”，增加自定义配置项：spark.httpdProxy.enable=true。 图1 自定义配置项 参考上一步，分别选择“集群 > 服务 > Spark2x
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
Hive jobs cannot be submitted. 不能提交Hive相关作业 请检查是否存在Hive服务以及Hive服务是否正常 400 0169 Flink jobs cannot be submitted. 不能提交Flink作业 请检查是否存在Flink服务以及Flink服务是否正常
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题： 管理MRS集群用户
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
