-
事务模式迁移 - 云数据迁移 CDM
参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 关键操作指导
-
配置分库源端参数 - 云数据迁移 CDM
取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
-
在创建迁移作业时,where语句参数中的时间格式是怎样的? - 云数据迁移 CDM
在创建迁移作业时,where语句参数中的时间格式是怎样的? 请参考Mysql日期、时间字段类型语法特性:https://dev.mysql.com/doc/refman/8.0/en/datetime.html。 父主题: 功能类
-
管理驱动 - 云数据迁移 CDM
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
-
如何将云下内网或第三方云上的私网与CDM连通? - 云数据迁移 CDM
上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。
-
CDM与其他数据迁移服务有什么区别,如何选择? - 云数据迁移 CDM
DRS来完成数据迁移。即主流数据库到数据库(含第三方数据库)的场景,使用DRS进行迁移。更多详情请参见数据复制服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS
-
通过CDM节点批量创建分表迁移作业 - 云数据迁移 CDM
面。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192
-
应用示例 - 云数据迁移 CDM
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
le) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
le) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
le) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
le) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft
-
配置PostgreSQL/SQL Server源端参数 - 云数据迁移 CDM
sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明:
-
新建整库迁移作业 - 云数据迁移 CDM
配置目的端作业参数,根据待导入数据的云服务配置对应参数,如表2所示。 表2 目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Se
-
Oracle数据迁移到DWS - 云数据迁移 CDM
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
-
故障处理类 - 云数据迁移 CDM
string:"false"怎么处理? 迁移MySql到DWS,TINYINT类型迁移报错 数据迁移前后数据量不一致是什么问题? 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 CSV数据类型插入MySQL报错invalid utf-8
-
数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 - 云数据迁移 CDM
数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 问题描述 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置,问题解决。
-
文件格式介绍 - 云数据迁移 CDM
例如用户的“/table/”目录下存储了很多数据表的目录,并且按天进行了划分DRIVING_BEHAVIOR_20180101~DRIVING_BEHAVIOR_20180630,保存了DRIVING_BEHAVIOR从1月到6月的所有数据。如果只想迁移DRIVING_BEHAVIOR的3月份的表数据,那么需
-
参考:CDM性能实测数据 - 云数据迁移 CDM
28752 / RDS(Postgresql) 4U32G(主备模式) Postgresql 13.12 128865 1351351(并发度:30) 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 (行/s) 多并发写入速率 (行/s) 云数据库 MySQL 8U 32G