检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前
SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。 参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。 父主题： 增量迁移原理介绍
其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择步骤2：创建连接章节中创建的DWS连接“dwslink”。 模式或表空间：选择导入到DWS的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DWS数据库中创建该表。
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。 运行模式：选择HDFS连接的运行模式。 创建OBS连接
停止作业：选择作业操作列的“更多 > 停止”可停止作业。 查看作业JSON：选择作业操作列的“更多 > 查看作业JSON”，可查看该作业的JSON定义。 编辑作业JSON：选择作业操作列的“更多 > 编辑作业JSON”，可直接编辑该作业的JSON文件，作用等同于修改作业的参数配置。 配置定时任务：选择作业操作列的“更多
配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd
增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts
配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。
该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig.md5FileSuffix 否 String 校验CDM抽取的文件，是否与源文件一致。 父主题：
用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。 运行模式：选择HDFS连接的运行模式。 创建OBS连接
迁移任务报错表名太长，但表名实际没有这么长。 原因分析 在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。 缩短实际表的表名长度。 父主题： 故障处理类
新建作业”，开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MySQL连接中的“mysqllink”。 使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。
新建作业”，开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MySQL连接中的“mysqllink”。 使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。
源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的Elasticsea
源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的Elasticsea
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
