检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明： 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 id 分片字段含有空值 “按表分区抽取”
择配置分区字段。 图7 源表与目标表映射 分区字段 支持配置分区字段，将在写入OBS时自动生成对应分区目录，目录名为“分区字段=分区值”。同时，字段选择顺序影响分区的层级，例如选择par1、par2作为分区字段，那么par1为一级分区，par2为二级分区，最多支持五级分区。 目标字段编辑
FTP、SFTP 支持 不支持 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A 说明： 创建数据连接时也支持用户使用自建的数据库，如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本，获取mysql-connector-java-5.1.48.jar Oracle
在数据架构控制台，单击左侧导航树中的“模型设计 > 维度建模”，选择“维度”页签进入维度页面。 在左侧主题目录中选中一个对象，然后单击“新建”，或者直接单击“新建”按钮，开始新建维度。 在新建维度之前，如果您尚未添加主题信息，请先参考主题设计添加主题信息。 在“新建维度”页面，根据页面提示配置参数。 “基本配置”和“物化配置”，设置如下：
数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka到DLI实时同步中，作业运行失败，报“Array
√ √ √ × √ × 云数据库 RDS（云数据库MySQL） √ √ √ √ √ √ × 云数据库 RDS（云数据库PostgreSQL） √ √ √ √ √ × × 云数据库 RDS（云数据库SQL Server） √ × × √ × × × MySQL √ √ × × √ √
数据预览支持的数据源类型：DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签，查看数据表变更详情。 父主题： 查看工作空间数据地图
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
常见数据源的性能实测结果分别如表1和表2所示。 表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率（行/s） 多并发抽取速率（行/s） 云数据库 MySQL 8U 32G MySQL 5.7 42052 195313（并发度：40） Oracle 8U 16G 19C 18539 18706（并发度：10）
类型。 DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时，需要配置相关安全
字段带有索引。 id 分片字段含有空值 “按表分区抽取”选择“否”时，显示该参数，是否允许分片字段包含空值。 多并发抽取时，若确定分片字段不含Null，将该值设为“否”可提升性能，若不确定，请设为“是”，否则可能会丢数据。 是 父主题： 配置作业源端参数
partitionList”参数指定具体的Oracle表分区，该功能不支持非分区表。 fromJobConfig.partitionList 否 String 输入需要迁移数据的Oracle表分区，多个分区以&分隔，不填则迁移所有分区。 父主题： 源端作业参数说明
致任务异常。 增量同步阶段： 支持DML：包括INSERT、UPDATE、DELETE。 支持的DDL：新增列。 不支持混合分区表。混合分区表中的外部分区数据变更不产生DML日志，增量数据同步时无法获取变更信息，会存在数据不一致的风险。 表名和列名长度限制为30个字符。Oracle日志读取采用Oracle
系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时，作业计划时间就会被补数据里面的业务时间替换掉。 说明： 一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠，否则可能导致数据重复或混乱，用户请谨慎操作。 如果勾选了“按日期倒序补数
题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 allowPublicKeyRetrieval=true：MySQL默认关闭允许公钥检索机制，因此连接MySQL数据源时，如果TLS不可用、使用RSA公钥加密
系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时，作业计划时间就会被补数据里面的业务时间替换掉。 说明： 一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠，否则可能导致数据重复或混乱，用户请谨慎操作。 如果勾选了“按日期倒序补数
汇总表的中文名，用于展示使用。 l1_id String 主题域分组ID，只读，创建和更新时无需填写，ID字符串。 l2_id String 主题域ID，只读，创建和更新时无需填写。 l3_id String 汇总表所属主题的ID，必填，ID字符串。 description String
详见ORACLE数据连接参数说明中的用户授权指导。 受MRS集群限制，默认情况下元数据采集任务无法直接采集到Hive分区表的元数据。 如果需要采集Hive分区表的元数据，需要在MRS集群内的HiveServer（角色）->自定义下的“hive.server.customized
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
