华为云首页用户手册

HAYDN解决方案工厂-数据实施质量检查:源系统和SDI层数据一致性检测

HAYDN解决方案工厂-数据实施质量检查:源系统和SDI层数据一致性检测

时间：2024-07-04 19:44:56

HAYDN解决方案工厂实施管理

源系统和SDI层数据一致性检测

在数据治理过程中，从源数据库实时/定时抽取指定表的数据到目的数据库中的指定位置时，会存在数据抽取问题：

数据记录条数丢失(源表和目标表数据记录条数不一致)，因此需要此功能来定时检查数据抽取是否一致
数据库表字段丢失(源表与目的表表字段不同)，原因是在项目的进行过程中，存在源系统表字段的增删改，导致数据实时同步的时候出现异常。
数据库表内容不一致（源与目的的表内容不一致），在数据的抽取过程中由于源表和目的表存在内容的格式问题，导致数据转码，造成源端与目的端数据不同。

本模块提供源系统和SDI层数据一致性检测，旨在通过以下功能解决上述问题：

表记录：对比源端与目的端表的记录条数是否一致，如果源目的数据记录条数在一个容忍范围内，则认为是一致的。
表字段：在数据迁移过程中，由于业务的变化，可能存在源端数据库部分表的字段会存在添加和删除的情况。通过配置每个表的时间戳与容忍记录数来判断表字段一致性（如果没有时间戳则查询所有的记录数）。

本模块的操作步骤同数据模型设计。

图10 表记录检查结果

上一篇：HAYDN解决方案工厂-数据实施质量检查:DataArts Studio作业监控

下一篇：HAYDN解决方案工厂-数据实施质量检查:DataArts Studio作业监控

HAYDN解决方案工厂-数据实施质量检查:源系统和SDI层数据一致性检测

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题