-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
table city2(code varchar(10),name varchar(32)); 在CDM集群下,创建连接到MySQL的连接,例如连接名称为“mysqltestlink”。创建连接到DWS的连接,例如连接名称为“dwstestlink”。 运行下述代码,依赖HttpClient包,建议使用4
-
通过CDM节点批量创建分表迁移作业 - 云数据迁移 CDM
DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL
-
管理驱动 - 云数据迁移 CDM
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
-
步骤1:创建集群 - 云数据迁移 CDM
PC。 子网:推荐与MySQL实例或DWS集群的子网一致。 安全组:推荐与MySQL实例或DWS集群的安全组一致。 企业项目:如果已经创建了企业项目,这里才可以选择。必须与MySQL实例或DWS集群的企业项目一致。 其它参数保持默认即可。 图2 创建集群1 图3 创建集群2 查看
-
配置PostgreSQL/SQL Server源端参数 - 云数据迁移 CDM
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
-
写ES报timeout waiting for connection from pool错误怎么解决? - 云数据迁移 CDM
pool,且日志中输出多个es_rejected_execution_exception。 故障分析 从cerebro界面看到索引只有一个分片。但新建一个索引设成3个分片也是一样会报es_rejected_execution_exception。 继续定位发现记录几乎都写入到了一个
-
如何将云下内网或第三方云上的私网与CDM连通? - 云数据迁移 CDM
上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。
-
使用教程 - 云数据迁移 CDM
Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务
-
使用教程 - 云数据迁移 CDM
Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
-
故障处理类 - 云数据迁移 CDM
loader run” 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理? 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理? 迁移MySql到DWS,TINYINT类型迁移报错
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
-
新建整库迁移作业 - 云数据迁移 CDM
配置目的端作业参数,根据待导入数据的云服务配置对应参数,如表2所示。 表2 目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Se
-
配置达梦数据库 DM源端参数 - 云数据迁移 CDM
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时,源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
-
自动建表原理介绍 - 云数据迁移 CDM
scale。源端p > 38位时,Hive按38位创建,s小于0时,按0创建,受Hive数据类型限制,此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型(MySQL) 数据类型(Hive) 说明 数值类型 tinyint(1),bit(1) BOOLEAN
-
管理连接 - 云数据迁移 CDM
管理连接 新建连接 管理驱动 管理集群配置 配置OBS连接 配置PostgreSQL/SQLServer连接 配置数据仓库服务(DWS)连接 配置云数据库MySQL/MySQL数据库连接 配置Oracle数据库连接 配置DLI连接 配置Hive连接 配置HBase连接 配置HDFS连接
-
CDM迁移DWS数据报错Read timedout怎么处理? - 云数据迁移 CDM
作业配置中源端目标端均通过where语句多条件过滤,并非索引列,查询会全表扫描,且数据量在上亿行,数据量庞大,导致JDBC数据库连接失败,读取数据超时,进而导致sqoop异常,作业失败。 迁移作业是CDM作为客户端先从源数据中抽取部分数据,写到目标端,在进行下一次部分数据抽取,写入目标端,往复执行,直到
-
配置DWS目的端参数 - 云数据迁移 CDM
取值样例 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参