检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统生成，
timestamp。 通过时间宏变量+定时执行作业，可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
topic列表，可以为多个topic，以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置： LATEST：最大偏移量，即最新的数据。 EARLIEST：最小偏移量，即最老的数据。 fromJobConfig
迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。 CDM与DRS的区别： 目的端是大数据系统时，推荐使用CDM。 目的端是OLTP数据库或DWS时，推荐使用DRS迁移。 CDM与OMS的区别：
timestamp。 通过时间宏变量+定时执行作业，可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域
群，则需要进行如下配置： 关闭HANA集群的Statement Routing开关。但须注意，关闭Statement Routing，会增加配置节点的压力。 新建HANA连接时，在高级属性中添加属性“distribution”，并将值置为“off”。 完成配置后，CDM即可正常连接HANA集群。
故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置，问题解决。 父主题： 故障处理类
components String 组件。 config_status String 节点配置状态（查询集群列表时为null）： In-Sync：配置已同步。 Applying：配置中。 Sync-Failure：配置失败。 role String 实例角色。 group String 分组。
支持从神通（ST）导出数据。 参见配置神通（ST）源端参数。 达梦数据库 DM 支持从达梦数据库 DM导出数据。 参见配置达梦数据库 DM源端参数。 配置目的端作业参数，根据目的端数据类型配置对应的参数，具体如表2所示。 表2 目的端作业参数说明 目的端类型 说明 参数配置 OBS 支持使用C
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
件，包含throttlingConfig.concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。 让客户在导出的json 文件中将删除以下配置项，重新导入作业到新集群，导入成功。 { "name":"throttlingConfig.concurrentSubJobs"
BINARY_FILE：二进制格式，不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式。 当选择“BINARY_FILE”时，源端也必须为文件系统。 toJobConfig.fieldSeparator 否 String 列分割符号，当“toJobConfig.outputForma
AM用户被授予的策略中必须包含允许“cdm:cluster:list”的授权项，该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略，如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应，授权项列表说明如下：
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析 初步怀疑是源端和目标端在字段类型转换出现异常。 将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏
但Hive连接器测试连通性是正常的，于是仔细检查Hive的连接器配置的参数。 安全集群MRS Manager用户、用户组和角色配置都正确，发现Hive版本配置的为HIVE_3_X。 由于MRS1.8.1集群hive版本为1.2.1，故应该选择hive_1_X。正确修改连接器配置，重新创建作业正常。 父主题： 故障处理类
Kerberos：安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值 父主题： 连接参数说明
用于存储变长的二进制大对象，长度最大为2G-1字节。 0x5236（二进制数据） 不支持 不支持 BFILE 用于指明存储在操作系统中的二进制文件， 文件存储在操作系统而非数 据库中，仅能进行只读访问。 - 不支持 不支持 父主题： 支持的数据源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
