-
文件增量迁移 - 云数据迁移 CDM
这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
-
创建MySQL连接器 - 云数据迁移 CDM
- local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
-
步骤2:创建连接 - 云数据迁移 CDM
否 local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
-
创建MySQL连接器 - 云数据迁移 CDM
- local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
-
如何将云下内网或第三方云上的私网与CDM连通? - 云数据迁移 CDM
至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。 CDM要访问本地数据源,也必须给CDM集群配置EIP。
-
配置Hive连接 - 云数据迁移 CDM
MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 新建MRS Hive连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
-
作业任务参数说明 - 云数据迁移 CDM
单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig.isSchedulerJob 否 Boolean 是否开启定时任务,例如:“true”。
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
*JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。
-
作业配置管理 - 云数据迁移 CDM
作业参数的环境变量 CDM在创建迁移作业时,可以手动输入的参数(例如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。
-
应用示例 - 云数据迁移 CDM
导入DWS的数据库名称为public,表名为cdm_all_type,导入前不清空数据。 当DWS数据库里没有本地MySQL数据库中的表时,CDM自动在DWS端创建该表。 DWS端加载的字段列表为id&gid&name。 作业抽取数据时,并发执行的Extractor数量为3。
-
配置字段映射 - 云数据迁移 CDM
如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。
-
MySQL数据迁移到OBS - 云数据迁移 CDM
- local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
-
MySQL数据迁移到OBS - 云数据迁移 CDM
- local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
-
字段转换器配置指导 - 云数据迁移 CDM
图3 源字段新增自定义字段 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
-
字段转换器配置指导 - 云数据迁移 CDM
图3 源字段新增自定义字段 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
-
错误码 - 云数据迁移 CDM
Cdm.1120 400 表中有数据,请清空表数据或重新设置导入前是否清空表数据配置项。 表中有数据,请清空表数据或重新设置导入前是否清空表数据配置项。 请按照错误提示进行处理。 Cdm.1121 400 关闭连接已失败。原因:%s。 关闭连接失败。