检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户名（如omm用户）”。 图3 到迁移目的端集群的连接 选择“作业管理”的“表/文件迁移”页签，单击“新建作业”。 进入作业参数配置界面，配置作业名称、源端作业和目的端作业参数，并选择要迁移的数据表，单击“下一步”。 图4 HBase作业配置 配置源字段和目的字段的映射关系， 并单击“下一步”。
行提交作业，否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时（例如admin 01），不支持添加作业。 单击“作业管理”，在作业列表界面单击“添加”。 “作业类型”选择“SparkSql”并参考表1配置SparkSql作业信息。 图1 添加SparkSql作业 表1 作业配置信息
信息的“操作”列编辑或删除UDF信息（只能删除未被使用的UDF项）。 （可选）如果需要立即运行或开发作业，可在“作业管理”进行相关作业配置，可参考如何创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例 package com.xxx.udf;
HDFS连接 步骤2：新建迁移作业 在“表/文件迁移” 页签，单击“新建作业”。 选择源连接、目的连接： 作业名称：用户自定义任务名称，名称由英文字母、下划线或者数字组成，长度必须在1到256个字符之间。 源连接名称：选择迁移源端集群的HDFS连接，作业运行时将从此端复制导出数据。
群节点、创建作业并执行等。支持的全部操作请参见API概览。 在调用MRS服务API之前，请确保已经充分了解MRS服务相关概念，详细信息请参见产品介绍。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口，请在历史API中，获取相关接口。
的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“作业管理 > 数据比较任务 > 新建作业”，在弹出的窗口中输入作业相关信息，然后单击“下一步”。其中： 参数名称 说明 示例 Name 数据比较任务名 job_dc_test
在session中提交作业成功 使用运行用户进入Yarn服务的原生页面，具体操作参考查看Flink作业信息，找到对应作业的application，单击application名称，进入到作业详情页面 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。
入Kafka作业参数配置窗口。参考表4进行参数配置。 表4 Kafka作业参数 参数名称 示例 Link kafkalink 单击“确定”，完成Kafka作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题： 管理MRS集群
API V2 集群管理接口 作业管理接口 弹性伸缩接口 集群HDFS文件接口 SQL接口 委托管理 数据连接管理 版本元数据查询 IAM同步管理接口 标签管理接口
产品功能 作业管理 元数据管理 企业项目管理 多租户资源管理 组件WebUI便捷访问 节点自定义引导操作 集群管理 集群运维 集群状态消息通知 MRS安全增强 MRS可靠性增强
Batch Size 10 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在Hudi中对表进行
x之前版本） 管理Loader连接（MRS 3.x及之后版本） Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例：通过Loader将数据从OBS导入HDFS
~100000。 100000 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在MySQL数据库中对作业中指定的表进行插入数据操作，查看Hudi导入的文件内容是否正常。
FlinkServer作业task持续背压 适用于MRS 3.1.2及之后版本。 告警解释 系统以用户配置的告警周期检查作业Task持续背压时间，如果FlinkServer作业Task持续背压时间达到用户配置的阈值，则发送告警。当作业Task背压恢复或者作业重启成功，则告警恢复。
计、代码开发、作业性能调优和业务迁移等。 在MRS集群组件服务无明显异常或明确产品质量缺陷的情况下，不负责单个大数据作业运行异常问题的排查分析。 不负责在MRS集群上进行非标操作产生的非预期问题分析和解决，如重装操作系统、误删除数据、删除服务目录和文件、修改OS系统配置和文件权限
参数配置完成后，单击“确定”创建ENV。 选择“作业管理 > 数据同步任务 > 新建作业”，在“新建作业”窗口中填写配置。单击“下一步”，进入作业参数配置页面。 其中： 参数名称 示例 Name job_huditock Desc - 配置Hudi作业参数。 在作业参数配置页面，选取左侧Sourc
步骤3：创建并运行Flink作业 方式1：在控制台界面在线提交作业。 登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”，进入“作业管理”页签。 单击“添加”，添加一个Flink作业。 作业类型：Flink
根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行4。 否，执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”列的“Logs”，查看jobmanager日志。
根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行4。 否，执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”列的“Logs”，查看jobmanager日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
