检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
整库同步支持以下链路： MySQL > MRS Hudi、MySQL > DWS、MySQL > Kafka DMS Kafka > OBS 、Apache Kafka > MRS Kafka SQLServer > MRS Hudi、SQLServer > DWS PostgreSQL > DWS、PostgreSQL
码表和数据标准有什么关系？ 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成，码表的表字段可以关联到数据标准上，数据标准会应用到某张模型表的字段上。 父主题： 数据架构
否 String 值分隔符号，当“valueStoreType”为“STRING”时此参数有效，默认值为：“\tab”。 fromJobConfig.columnList 否 String 需要抽取的字段列表，字段名之间使用“&”分割，例如：“id&gid&name”。 fromJobConfig
参见配置SAP HANA源端参数。 云数据库 PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。
是否使用正则表达式分割字段，当文件格式为“CSV_FILE”时此参数有效。 fromJobConfig.regex 否 String 正则表达式，当选择使用正则表达式分割字段时，此参数有效。 fromJobConfig.fieldSeparator 否 String 字段分隔符，当文件格
在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。
在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。
RS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id 否 String 转化后物理表所属的数据连接ID。 database 否 String 转化后物理表所属的数据库。 queue 否
Boolean 扩大字符字段长度，如果设置为“true”，当需要自动创建目的表时，目标表的字符类型字段长度设置为源表相应字段长度的3倍。 toJobConfig.useNullable 否 Boolean 当选择自动创建目的表时，如果选择使用非空约束，则目的表字段的是否非空约束，与原表具有相应非空约束的字段保持一致。
移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。 jdbc2hive，hive2jdbc整库迁移的实现机制就是按字段名称映射的，不支持字段名称不一致的迁移场景。 关系数据库迁移权限配置 常见关系数据库迁移需要的最小权限级： MySQL：INFORMAT
ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时，目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时： 若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
String 抽取数据的索引，类似关系数据库中的数据库名称。 fromJobConfig.type 是 String 抽取数据的类型，类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽取的字段列表，字段名之间使用“&”分隔，例如：“id&gid&name”。
NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时，目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema
NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。 单击可以查看
默认为关系数据库，不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名，多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。
否 扩大字符字段长度 当选择自动创表时，迁移过程中可将字符类型的字段长度扩大为原来的3倍，再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样，但目的表字符类型字段与源表一样，在迁移数据时，可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时，需要自动将字符长度放大3倍。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
