检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而
Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？ 问题描述 cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in
可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而
如果选择写入到OBS，此参数表示相应的OBS桶下的目录，例如：“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时，任务自动结束，已经导入的数据不回退。 schedulerConfig
from-connector-name 是 String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。
from-connector-name 是 String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。
创建连接的时间。 connector-name String 连接器名称，对应的连接参数如下：generic-jdbc-connector：关系数据库连接。obs-connector：OBS连接。hdfs-connector：HDFS连接。hbase-connector：HBase连接、
记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。 fromJobConfig.encodeType
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了CDM服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址
到这里为止这个请求需要的内容就具备齐全了，您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口，返回的响应消息头中“x-subject-token”的值，就是需要获取的用户Token。有了Token之后，您就可以使用Token认证调用其他API。
记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。 fromJobConfig.encodeType
cloudtable-cdm-zk2.cloudtable.com:2181 IAM统一身份认证 如果所需连接的CloudTable集群在创建时开启了“IAM统一身份认证”，该参数需设置为“是”，否则设置为“否”。 当选择IAM统一身份认证时，需要输入用户名、AK和SK。 否 用户名 登录CloudTable集群的用户名。
无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。
无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。
文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而
文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而
开启该功能时，该集群中的迁移作业、连接会被隔离，华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。
{ "name": "fromJobConfig.maxPollRecords", "value": "100" },
当CDM集群与其他云服务所在的区域一致、但VPC不一致时，可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注：如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理
规格名称。 region String region。 typename String 类型名称。 clusterMode String 集群模式。 status String 规格状态。 str_id String 规格ID。 请求示例 GET /v1.1/1551c7f6c808
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
