检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调用API 构造请求 认证鉴权 返回结果
如果预置角色可以满足您的使用需求，则您可以跳过本章节；否则，请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户，可参考如何授权其他用户使用DataArts
如果预置角色可以满足您的使用需求，则您可以跳过本章节；否则，请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户，可参考如何授权其他用户使用DataArts
若MRS操作日志中没有报错信息，则一般为IAM用户名与MRS已有人机用户名称冲突，导致同步失败。请登录MRS服务Manager界面，删除与IAM用户同名的人机用户（区分方式：IAM同步用户，默认描述为“IAM Custom Policy User”，且不可被删除；MRS普通人机用户，可以被删除）。 若为其他报错信息，请根据具体报错和日志信息处理。
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名
D5校验文件一致性。 .md5 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件
作业在每个工作空间的最大配额为10000，作业目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录，则可以跳过当前操作。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Stud
（可选）新建数据库模式 DWS数据连接创建完成后，可以在右侧区域中管理DWS数据连接的数据库模式。 如果已有的数据库模式满足您的使用需求，则您可以跳过本章节；否则，请您按照本章节描述新建数据库模式。 前提条件 已新建DWS数据连接，请参见新建数据连接。 已新建DWS数据库，请参见新建数据库。
getNodeStatus("CDM")) == "fail" ? "true" : "false"} 输入IF条件表达式后，配置IF条件匹配失败策略，可选择仅跳过相邻的下一个节点，或者跳过该IF分支后续所有节点。配置完成后单击确定，保存作业。 图3 配置失败策略 测试运行作业，并前往实例监控中查看执行结果。 待作
getNodeStatus("CDM")) == "fail" ? "true" : "false"} 输入IF条件表达式后，配置IF条件匹配失败策略，可选择仅跳过相邻的下一个节点，或者跳过该IF分支后续所有节点。配置完成后单击确定，保存作业。 图3 配置失败策略 测试运行作业，并前往实例监控中查看执行结果。 待作
文件格式：与源端一样，选择“二进制格式”，原始文件自身的格式不会改变。 重复文件处理方式：这里选择“跳过重复文件”。只有当源端和目的端存在文件名、文件大小都相同的文件时，CDM才会判定该文件为重复文件，这时CDM将跳过该文件，不迁移到OBS。 单击“下一步”配置任务参数，迁移存量数据时，参数配置保持默认即可。
获取token 获取用户的token，因为在后续的请求中需要将token放到请求消息头中作为认证。 创建CDM集群 如果您已经创建过CDM集群，可以跳过该步骤，直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务，调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。
请参见配置元数据采集任务，新建并运行元数据采集任务，注意任务中需要选择待查看血缘关系的数据表。 如果此前已创建并运行过待查看数据表的元数据采集任务，此操作可跳过。 启动作业调度 元数据采集完成后，系统基于最新的作业调度实例产生相关的数据血缘关系。 参考访问DataArts Studio实例控制台，登录DataArts
在配置作业调度时，可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天，请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天，通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如，每月最后一天，每月七号等。
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
在配置作业调度时，可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天，请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天，通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如，每月最后一天，每月七号等。
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 表2 增量阶段优化参数 参数名
“重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移，但因为“重复文件处理方式”选择了“跳过重复文件”，相同名称且相同大小的文件不迁移，所以只会上传每天新增的文件。 单击“保存”，完成CDM的增量同步配置。 父主题： 使用CDM上传数据到OBS
incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 scan.incremental
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
