数据治理中心 DATAARTS STUDIO-产品功能:数据集成：多种方式异构数据源高效接入

时间：2024-09-13 09:49:13

数据治理中心 DATAARTS STUDIO

数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。

数据集成基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。

图1 数据集成

数据集成提供全向导式任务管理界面，帮助用户在几分钟内完成数据迁移任务的创建，轻松应对复杂迁移场景。数据集成支持的功能主要有：

表/文件/整库迁移
支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。
增量数据迁移
支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。
事务模式迁移
支持当迁移作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。
字段转换
支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。
文件加密
在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。
MD5校验一致性
支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。
脏数据归档
支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。