检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等功能，集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云，可直接登录管理控制台，访问MRS服务。如果用户没有登录管理控制台的账号，请先注册华为云。注册成功后，该账号可访问华为云的所有服务，包括MRS服务。 打开华为云网站。 单击“注册”，根据提示信息完成注册。
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题： 管理MRS集群租户
配额说明 配额是用户账号在对应环境配置的可用资源额度，限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP
”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat
MRS支持的弹性云服务器（ECS）和裸金属服务器（BMS）混合部署，部署方式如下： Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署，Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。
如果为非root用户，请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 单击“配置数据连接”，并配置相关参数： 组件名称：Ranger
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。 获取MRS样例工程
务IP地址。 将云服务器的“业务端口”都设置为Doris FE服务的MySQL协议查询连接端口，默认为“9030”，可在Doris组件的服务配置页面搜索“query_port”查看。 单击“下一步：确认配置”确认配置。 确认配置无误后，单击“提交”完成ELB配置。 单击创建的监听
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题： 配置MRS集群存算分离
Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将
写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
单击“保存配置”，并在确认对话框中单击“是”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本，服务配置参数均支持登录MRS
单表并发控制配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider，不建议使用默认值，使用org.apache.hudi.hive.HiveMetastoreBasedLockProvider org.apache.hudi
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离
面。 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“HBase”。 配置“HBase配置”，参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题： 使用Hudi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
