检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语
3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent
用户连接参数超时时间“6000000”毫秒,已经足够大。进一步排查客户Mysql数据库是否异常,将日志中打印查询源端的sql在Mysql客户端执行,看是否报错以及报错情况: 发现执行查询语句,全表查询,报错“Lost connection to MySQL server during query”,再次
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD
CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办? 问题描述 CDM连接RDS-Mysql ,除root用户外,其他用户都报错。 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 mysql>use mysql; 授权:
体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API
体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。
示。 映射MySQL表和Hive表字段,Hive表比MySQL表多三个字段y、ym、ymd,即是Hive的分区字段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”,如图8所示。
故障分析 RDS-Mysql和开源Mysql对于date类型的范围不一致。 开源Mysql的date范围一般为1000-01-0到9999-12-21,而RDS-Mysql支持date范围小于1000-01-0。使用开源Mysql驱动连接RDS-Mysql,在date范围小于1000-0
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大,并且源端通过where语
自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。 导入开始前:选择“是”,当RDS数据库中存在与本地MySQL数据库重名的表时,CDM会清除RDS中重名表里的数据。 约束冲突处理:选择“insert into”,当迁移数据出现唯一约束冲突时的处理方式。
对于DWS来说,TINYINT类型,取值范围是 0 ~ 255,源端是Mysql,有“-1”这种负值,推荐客户使用 SMALLINT(取值范围:-32,768 ~ +32,767)建表。 Hive和MySQL的TINYINT类型取值范围都是[-128,127],而DWS的TINYINT类型取值范围是[0
自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。 导入开始前:选择“是”,当RDS数据库中存在与本地MySQL数据库重名的表时,CDM会清除RDS中重名表里的数据。 约束冲突处理:选择“insert into”,当迁移数据出现唯一约束冲突时的处理方式。
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API
指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 不自动创建 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量
作业名称:输入便于记忆、区分的作业名称,例如:“mysql2dws”。 源端作业配置 源连接名称:选择步骤2:创建连接章节中创建的MySQL连接“mysqllink”。 使用SQL语句:选择“否”。 模式或表空间:选择从MySQL的哪个数据库导出表。 表名:选择导出哪张表。 其他可选参数保持默认即可