-
配置MySQL/SQL Server/PostgreSQL目的端参数 - 云数据迁移 CDM
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时,目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明
-
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 - 云数据迁移 CDM
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
-
迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理? - 云数据迁移 CDM
transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加: 连接管理-Mysql连接-高级属性-添加参数 mysql.bool.type.transform 值为false,再次输入密码保存即可。 父主题: 故障处理类
-
脏数据导致CSV数据类型问题插入MySQL报错 - 云数据迁移 CDM
脏数据导致CSV数据类型问题插入MySQL报错 问题描述 客户作业失败,提示invalid utf-8 charater string '' 故障分析 根据报错,考虑用户数据中存在脏数据,个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志,考虑客户源端数据类型格式问题导致异常
-
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? - 云数据迁移 CDM
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM作业,源端是SFTP协议,目的端是OBS,将文件传过去。 父主题: 故障处理类
-
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? - 云数据迁移 CDM
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 问题描述 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 解决方案 当MySQL、Oracle、
-
CSV数据类型插入MySQL报错invalid utf-8 charater string '' - 云数据迁移 CDM
CSV数据类型插入MySQL报错invalid utf-8 charater string '' 问题描述 迁移作业执行失败,提示invalid utf-8 charater string ''。 故障分析 考虑是数据格式问题,后端进一步分析日志确认。 解决方案 后台排查sqoo
-
在创建迁移作业时,where语句参数中的时间格式是怎样的? - 云数据迁移 CDM
在创建迁移作业时,where语句参数中的时间格式是怎样的? 请参考Mysql日期、时间字段类型语法特性:https://dev.mysql.com/doc/refman/8.0/en/datetime.html。 父主题: 功能类
-
Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? - 云数据迁移 CDM
Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? 问题描述 导入了4000W数据,快执行完时报如下错误。 故障分析 结合报错,考虑是DLI目的端写入问题。但因日志截图不全,进入CDM集群,查看客户作业日志。
-
修改连接 - 云数据迁移 CDM
creation-user 否 String 创建连接的用户 name 是 String 连接名称 id 否 Integer 连接ID creation-date 否 Long 创建连接的时间 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc
-
创建连接 - 云数据迁移 CDM
creation-user 否 String 创建连接的用户 name 是 String 连接名称 id 否 Integer 连接ID creation-date 否 Long 创建连接的时间 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc
-
关系数据库连接 - 云数据迁移 CDM
usingNative 否 Boolean 是否使用数据库本地API加速。 创建MySQL连接时,使用本地API加速,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 说明: REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值(PRIMARY
-
配置分库源端参数 - 云数据迁移 CDM
DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 选择源连接名称为分库连接对应的后端连接时,此作业即为普通的MySQL作业。 新建源端为分库连接的作业时,在字段映射阶段,可以在源字段新增样值为“${custom(host)}”样式的自定义字段,用于在多个数
-
管理连接 - 云数据迁移 CDM
管理连接 新建连接 管理驱动 管理集群配置 配置OBS连接 配置PostgreSQL/SQLServer连接 配置数据仓库服务(DWS)连接 配置云数据库MySQL/MySQL数据库连接 配置Oracle数据库连接 配置DLI连接 配置Hive连接 配置HBase连接 配置HDFS连接
-
新建连接 - 云数据迁移 CDM
达梦数据库 DM 连接达梦数据库时,具体参数请参见配置达梦数据库 DM连接。 MySQL 连接MySQL数据库时,具体参数请参见配置云数据库MySQL/MySQL数据库连接。 Oracle 连接Oracle数据库时,具体参数请参见配置Oracle数据库连接。 分库 连接达梦数据库时,具体参数请参见配置分库连接。
-
配置分库连接 - 云数据迁移 CDM
后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:username:password,其中username:password可以不填,此时以“用户名”、“密码”配置为准。
-
管理驱动 - 云数据迁移 CDM
表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本,获取mysql-connector-java-5.1.48.jar Oracle
-
配置PostgreSQL/SQLServer连接 - 云数据迁移 CDM
配置PostgreSQL/SQLServer连接 连接PostgreSQL/SQLServer时,相关参数如表1所示,金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码或者
-
场景介绍 - 云数据迁移 CDM
Migration,以下简称CDM)的基础使用方法,通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作,帮助您了解、熟悉CDM服务,具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下: 创建CDM集群 创建连接 创建并执行作业 查看作业运行结果
-
配置SAP HANA连接 - 云数据迁移 CDM
致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmode=require 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 父主题: 管理连接