检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步”配置连接参数,参数说明如表1所示。配置完成后,单击“保存”回到连接管理界面。 表1 MySQL数据库连接参数 参数名 说明 取值样例
3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小 换行符 用于分隔文件中的行的字符,支持单字符和多字符,也支持特殊字符。特殊字符可以使用URL编码输入,例如: 表1 特殊字符对应的URL编码 特殊字符 URL编码 空格 %20 Tab %09
column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。
38位时,Hive按38位创建,s小于0时,按0创建,受Hive数据类型限制,此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型(MySQL) 数据类型(Hive) 说明 数值类型 tinyint(1),bit(1) BOOLEAN - TINYINT
usingNative 否 Boolean 是否使用数据库本地API加速。 创建MySQL连接时,使用本地API加速,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 说明: REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值(PRIMARY
支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅
如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下: MySQL: create table city1(code varchar(10),name varchar(32));
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。
Private Cloud),这里选择与MySQL实例或DWS集群相同的VPC。 子网:用户按实际业务选择集群所属子网。 推荐与MySQL实例或DWS集群的子网一致。 推荐选择已选择可用区下的子网,任意选择子网创建可能会创建失败。 安全组:推荐与MySQL实例或DWS集群的安全组一致。
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable)
参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 Object 参数值,参数名对应的值,必须填写为字符串。 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable)
目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable)
Server时,作业运行失败,错误提示为:Unable to execute the SQL statement. Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch
参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 Object 参数值,参数名对应的值,必须填写为字符串。 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表9 extended-configs
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch
再次转义)。 如果当前字段为字符串类型,一次替换字符串中的多个字符,例如将字符串“hello”中的“h”用“j”替换,“o”用“y”替换,转换后为“jelly”。 表达式:StringUtils.replaceChars(value,"ho","jy") 如果字符串以指定的前缀开头(区