检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换，目前支持以下字段转换器：
文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏
文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏
同步场景 配置方式 单表 输入一个需要迁移的Kafka Topic。 图4 输入Kafka Topic 整库 选择需要迁移的Kafka Topic。 图5 选择Kafka Topic 数据格式 源端Kafka Topic中消息内容的格式，Migration当前支持对如下三种消息进行处理：
勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后，在权限信息页面依次勾选需要使用的表/列权限。 图1 申请表/列权限信息 单击“确定”，系统弹出提交对话框。配置审批人后，单击“确定”。 等待审批人审批。待审批人审批后，权限即生效。 管理自有表权限 当用户需要对已申请的表/字段权
常处理/忽略/出错。 正常处理：Migration识别到源端库表出现该DDL动作时，作业自动同步到目的端执行该DDL操作。 忽略：Migration识别到源端库表出现该DDL动作时，作业忽略该DDL，不同步到目的端表中。 出错：Migration识别到源端库表出现该DDL动作时，作业抛出异常。
则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。 type 否 String 与job_type一致，作业类型： NORMAL_JOB：表/文件迁移。 BATCH_JOB：整库迁移。 SCENARIO_JOB：场景迁移。 execute_start_date 否
则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。 type 否 String 与job_type一致，作业类型： NORMAL_JOB：表/文件迁移。 BATCH_JOB：整库迁移。 SCENARIO_JOB：场景迁移。 execute_start_date 否
包，可以跳过这部分内容。 如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包，完成购买数据集成增量包的操作。 实例类型：选择“cdm.xlarge”，该实例类型适用大部分迁移场景。 虚拟私有云：CDM集群的VPC，选择用户本地数据中心与云专线连通的VPC。 子网、安全组：这里没有要求，分别任选一个即可。
是否支持同步作业到其他集群？ 问题描述 CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由于安全原因，CD
DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。 根据业务实际情况估算DRS作业迁移到Migratio
、访问控制等功能，可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍，请参见IAM产品介绍。 DataArts Studio仅支持基于系统角色的授权，不支持策略授权。为了实现精细的权限管控，DataArts Studio提供了系统角色+工作空间角色授权的能力，由工作空间角
行数据集成、开发与开放。 云数据迁移服务 DataArts Studio需要通过Agent来访问租户资源或服务，需要依赖云数据迁移服务（Cloud Data Migration，简称CDM）。其中云数据迁移与数据集成为同一服务的两种形态，云数据迁移为独立服务形态，数据集成为DataArts
则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。 type 否 String 与job_type一致，作业类型： NORMAL_JOB：表/文件迁移。 BATCH_JOB：整库迁移。 SCENARIO_JOB：场景迁移。 execute_start_date 否
同步。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 系统支持批量导出质量作业，一次最多可导出200个质量作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导
对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 父主题： 数据质量
表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_E 高级属性 Where子句 填写该参数表示指定抽取的Where子句，不指定则抽取整表。如果要迁移的表中没有Where子句的字段，则会迁移失败。
件增量迁移。 通配符 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
