检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
较慢，建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点（Endpoint）。 linkConfig.port 是 String 数据传输协议端口，https是443，http是80。 linkConfig.accessKey 是
类型”应为“aes256-sha1,aes128-sha1”。 9030 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线，无需配置。
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE
参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。
作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可
临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”，CDM的事务模式不会回滚已经删除的数据。 父主题： 关键操作指导
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
SOFTLY：一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断，并重启集群的虚拟机。 restartLevel 否 String 重启级别： SERVICE：重启服务。 VM：重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型，只支持“cdm”。
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为（数据开发作业计划启动时间-偏移量），而不是（CDM作业实际启动时间-偏移量）。 table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。 清除全部数据：写入数据前会清除目标表中数据。
L队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是，任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true，空字符串将作为null。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如：
CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用CDM服务时，如果触发了监控列表中的关键操作，那么CTS会在记录操作日志的同时，向相关订阅者实时发送通知。 父主题： 安全
M需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连
Elasticsearch连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用“;”分隔。
”。 故障分析 考虑用户数据量大，或连接中断异常导致报错，检查客户连接高级属性配置，是否配置超时时间参数设置及设置情况： 用户连接参数超时时间“6000000”毫秒，已经足够大。进一步排查客户Mysql数据库是否异常，将日志中打印查询源端的sql在Mysql客户端执行，看是否报错以及报错情况：
none：写入数据前不清除目标表中数据，数据追加写入。 shouldClearTable：写入数据前会清除目标表中数据。 whereClause：选择根据where条件删除时，需要配置“toJobConfig.whereClause”参数，CDM根据条件选择性删除目标表的数据。 toJobConfig
端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机
端口。 已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticsearch可通过公网IP访问，或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
