检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用
复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用
根据分析，考虑是Mysql配置“max_allowed_packet”参数太小导致报错，参考以下链接排查，发现Mysql已经设置最大为1G，无法再增大。 据以上分析，发现未能解决，再次回顾排查过程，发现遗漏一点关键点，客户连接器参数配置，“一次请求行数”配置“3000”，可能会导致某批次查询数据超过1G，故而报错。
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
编辑作业JSON：选择作业操作列的“更多 > 编辑作业JSON”，可直接编辑该作业的JSON文件，作用等同于修改作业的参数配置。 配置定时任务：选择作业操作列的“更多 > 配置定时任务”，可选择在有效期内周期性启动作业，具体请参考配置CDM作业定时任务。 日志：选择作业操作列的“更多 > 日志”，可查看该作业最近的一次日志。
JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 请从对应版本的安装目录中获取DmJdbcDriver18.jar POSTGRESQL_KINGBASE POSTGRESQL_KINGBASE https://www.kingbase
name String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id Integer 配置ID，由系统生成，用户无需填写。 type String 配置类型，由系统生成
CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移，支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 作业配置管理 批量管理作业 已发布区域：全部 API 您可
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
components String 组件。 config_status String 节点配置状态（查询集群列表时为null）： In-Sync：配置已同步。 Applying：配置中。 Sync-Failure：配置失败。 role String 实例角色。 group String 分组。
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
deploymentMode 是 枚举 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。 linkConfig.password
云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 MySQL
403”考虑是Hive同步表到OBS目录报错。用户配置连接器时候，没有打开OBS开关。 检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。 解决方案 修改连接配置，打开Hive连接中的OBS开关，重新输入密码。 父主题：
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
