检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后，集群中存在足够的资源时，任务1将重新执行。 操作步骤 参数入口： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 Preemption配置 参数 描述 默认值
队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后，集群中存在足够的资源时，任务1将重新开始执行。 操作步骤 参数入口： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 Preemption配置 参数 描述 默认值
batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 ClickHouse虽有集群能力，但没有统一的访问入口，客户端需要直接感知集群内所有的节点，易用性不好。ClickHouse提供了基于Loadbalance部署架构，可以将用户访问流量自动分发
batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 ClickHouse虽有集群能力，但没有统一的访问入口，客户端需要直接感知集群内所有的节点，易用性不好。ClickHouse提供了基于Loadbalance部署架构，可以将用户访问流量自动分发
x及之后版本，运行程序参数不支持“-yn”。 2 -ys 设置TaskManager的核数。 2 -ynm 自定义Yarn上应用程序名称。 test -c 设置程序入口点的类（如“main”或“getPlan()”方法）。该参数仅在JAR文件未指定其清单的类时需要。 com.bigdata.mrs.test
编写Workflow任务：“workflow.xml”。 表1 流程Action 编号 步骤 描述 1 定义start action 请参见配置Oozie作业执行入口 2 定义MapReduce action 请参见配置Oozie MapReduce作业 3 定义FS action 请参见配置Oozie作业操作HDFS文件
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan，即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
编写Workflow任务文件“workflow.xml”。 表1 流程Action 编号 步骤 描述 1 定义startaction 请参见配置Oozie作业执行入口 2 定义MapReduceaction 请参见配置Oozie MapReduce作业 3 定义FS action 请参见配置Oozie作业操作HDFS文件
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect
（可选）如表1所示，为HBase容灾操作过程中的可选配置项，您可以根据描述来进行参数配置，或者使用缺省提供的值。 表1 可选配置项 配置入口 配置项 缺省值 描述 “HMaster > 性能” hbase.master.logcleaner.ttl 600000 指定HLog的
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect
3.2.0-LTS版本集群，当MRS 3.3.0-LTS发布商用后，之前较早的版本（如MRS 3.1.2-LTS）默认将不在控制台上提供创建入口。对存量用户使用的MRS 3.1.2-LTS版本集群不影响。 集群版本升级 MRS LTS版本集群支持大版本升级的演进路线，默认情况下只支持跨一个版本的升级，如MRS
Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。 页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。 使用Yarn客户端获取或查看Task
访问集群的Manager管理界面。 安全组 集群的安全组名称。 表3 MRS集群运维管理 参数 参数说明 集群管理页面 Manager页面入口，具体操作请参见访问MRS集群Manager。 IAM用户同步 可以将IAM侧用户（包含联邦用户）信息同步至MRS集群，用于集群管理。具体请参见IAM用户同步MRS集群说明。
（可选）如表1所示，为HBase容灾操作过程中的可选配置项，您可以根据描述来进行参数配置，或者使用缺省提供的值。 表1 可选配置项 配置入口 配置项 缺省值 描述 “HMaster > 性能” hbase.master.logcleaner.ttl 600000 指定HLog的
Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。 页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。 使用Yarn客户端获取或查看Task
Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。 页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。 使用Yarn客户端获取或查看Task
Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。 页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。 使用Yarn客户端获取或查看Task
JobGateway常见参数 参数入口 请参考修改集群服务配置参数进入JobGateway服务配置页面。 参数说明 表1 JobGateway参数说明 参数 参数说明 默认值 HTTP_INSTANCE_PORT JobServer服务http端口。 默认值：29973 取值范围：29970~29979
在弹出的窗口中，在指定一次执行记录前单击，打开此次任务运行的日志信息。 还可在任务列表指定任务的“操作”列，执行表1中的更多维护管理操作。 表1 更多维护管理功能 操作入口 说明 “更多 > 即时备份”或“执行” 启动处于准备或失败状态的备份恢复任务。已成功执行过的恢复任务不能重新运行。 “配置” 修改备份任务的参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
