检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大,并且源端通过where语
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD
型为“云数据库 MySQL”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。
UENGINE、ORACLE、RDS、DORIS 通过内置的正则表达式规则,校验数据表中指定字段的合法情况(如果数据为空,则视为非法字段)。 邮箱校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式,校验数据表中指定字段的合法情况。
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该
PostgreSQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 PostgreSQL数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到 user_9,user_00 到 user_99 的表。 SCHEMA_E
ertex_user_rds2obs”。 edge_friends_rds2hive(CDM Job节点):在节点属性中,选择创建数据集成作业中的CDM集群,并关联CDM作业“edge_friends_rds2hive”。 edge_friends_rds2obs(CDM Job
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源,
数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle 请参见Oracle数据库迁移时支持的数据类型。 PostgreSQL 请参见PostgreSQL数据库迁移时支持的数据类型。
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法: Log4J日志 Log4J审计日志 Tomcat日志
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下: MySQL: create table city1(code varchar(10),name varchar(32));