实施管理-华为云

HAYDN解决方案工厂-数据实施质量检查:源系统和SDI层数据一致性检测

源系统和SDI层数据一致性检测在数据治理过程中，从源数据库实时/定时抽取指定表的数据到目的数据库中的指定位置时，会存在数据抽取问题：数据记录条数丢失(源表和目标表数据记录条数不一致)，因此需要此功能来定时检查数据抽取是否一致数据库表字段丢失(源表与目的表表字段不同)，原因是在项目的进行过程中，存在源系统表字段的增删改，导致数据实时同步的时候出现异常。数据库表内容不一致（源与目的的表内容不一致），在数据的抽取过程中由于源表和目的表存在内容的格式问题，导致数据转码，造成源端与目的端数据不同。本模块提供源系统和SDI层数据一致性检测，旨在通过以下功能解决上述问题：表记录：对比源端与目的端表的记录条数是否一致，如果源目的数据记录条数在一个容忍范围内，则认为是一致的。表字段：在数据迁移过程中，由于业务的变化，可能存在源端数据库部分表的字段会存在添加和删除的情况。通过配置每个表的时间戳与容忍记录数来判断表字段一致性（如果没有时间戳则查询所有的记录数）。本模块的操作步骤同数据模型设计。图10 表记录检查结果

HAYDN解决方案工厂实施管理

HAYDN解决方案工厂-数据实施质量检查:DataArts Studio作业监控

DataArts Studio 作业监控作业运行时长的影响因素包含计算资源的影响和处理数据的影响，因此，当作业运行时间波动很大时，表明计算资源或者表数据有问题。例如，临时表没有清理，表数据发散等等，到最后都会造成重大问题。本功能模块的作可以在这些bug产生较小的影响情况下发现并及时修改。一般先查看作业的运行时间，如果时间有异常，再查看作业的哪些节点是否有异常。作业监控规则配置作业运行时间波动范围：某个作业相对于历史平均运行时间的上下波动范围值。节点运行时间波动范围：作业的每个节点的相对于历史平均运行时间的上下波动范围值。创建监控对象：选择对应的Region、 IAM 项目、DataArts studio实例、DataArts studio空间图19 创建监控对象添加作业监控图20 添加作业监控查看检查结果平均运行时间：该作业历史30天内执行的平均时间（中间的虚线）。最大波动执行时间：根据波动范围所求的，相对与平均值最大波动时间（最上方的虚线）。最小波动执行时间: 根据波动范围所求的，相对与平均值最小波动时间（最下方的虚线）在最大和最小波动时间内的作业，属于根据项目实际情况可接受的波动范围。超过波动则认为该作业有异常，需要通知相关人员进行定位。图21 DataArts Studio作业监控

HAYDN解决方案工厂实施管理

HAYDN解决方案工厂-数据实施质量检查:DataArts Studio命名规范检测

DataArts Studio命名规范检测 DGC是数据治理中心，尤其是数据开发模块，数据的ETL脚本的逻辑和任务调度编排均在DGC上。因此，一个规范统一的命名规范显得尤为重要，统一而规整，数据治理的专业性强。作业命名检查检查DataArts Studio作业是否符合项目定义的规范。编辑作业命名规范。解决方案工作台预置了批处理作业和实时检查作业的检查规范，可点击【规则配置】根据需要修改。新建监控对象。选择本账号下要检查的DataArts Studio实例。图11 添加监控对象点击刷新按钮，查看检查结果。图12 查看检查结果作业节点命名检查检查DataArts Studio作业中的作业节点（ CDM JOB、 MRS Kafka等）命名是否符合项目定义的规范。同样，用户可根据需要修改解决方案工作台预置的节点命名检查规范后，添加指定的监控对象进行检查。图13 作业节点命名检查脚本命名检查检查DataArts Studio脚本命名是否符合项目定义的规范。图14 脚本命名检查环境变量命名检查DataArts Studio环境变量命名是否符合项目定义的规范。主要用于对脚本中的环境变量进行检查。图15 环境变量命名检查数据连接命名规则检查DataArts Studio数据连接（Oracle、MRS Hudi、Hive、DWS等）命名是否符合项目定义的规范。图16 数据连接命名检查

HAYDN解决方案工厂实施管理

HAYDN解决方案工厂-数据实施质量检查:数据模型设计

数据模型设计数据治理过程中，每层的表命名都有其规范，在数据集成增量集成过程中也会多增加些表字段如ext_delete_flag （删除）、ext_updated_at （数据入仓时间）。实施人员可以通过运行此功能，检测到项目中不满足要求的表，即时整改。表命名规范检查表命名规范检查功能用于检查目的端（DWS、MRS-HUDI等）数据库中的表命名是否符合项目中的规范要求。项目中大多表是根据数据模型的层进行开头命名的，如：贴源层命名：ods/sdi_业务名维表命名：dim_{domain/subject} 主题层 dwi_{domain/suject}_(business_info)_[suffix] 、domain/suject：多为业务主题域明细层：dwr_{domain/suject}_(business_info)_[suffix] 汇总层：dws_{domain/suject}_(business_info)_[suffix] 集市层：dm_{domain/suject}_(business_info)_[suffix] 图1 表命名规范检查操作步骤：参考管理应用系统和数据连接，创建需要进行检查的数据连接；点击【规则配置】，可查看到解决方案工作台预置的表命名规范检查规则，用户可根据需要修改或新增。添加监控对象，选择要监控的数据连接类型和连接名称。图2 添加监控对象添加采集信息，对需要进行规范检查的DB、Schema进行配置，配置规则名根据需要选择解决方案工作台预置的或新增的规范标准。图3 添加采集信息预览监控对象配置信息，并将该信息保存到本地，另存为配置文件application.properties。图4 预览监控对象配置信息下载探源工具。图5 探源工具下载入口将探源工具解压缩为jar包，并与配置文件application.properties一起放在远端服务器同一目录下。要求：该服务器为Linux操作系统，且网络上能访问到要进行质量检查的数据库。图6 探源工具运行启动脚本：run_agent.sh。启动后，探源工具将会按照配置文件application.properties的规则进行数据质量检查。探源工具通过查询指定数据库的系统表获取相关信息，对数据库压力较小，但为了保证不影响业务，建议将探源工具的定时任务设置在凌晨等压力较小的时间段进行。查看检查结果。如果运行探源工具的服务器可访问公网，则检查结果可在线上报，点击界面右侧的刷新按钮即可查看；如果运行探源工具的服务器仅能在内网运行，可通过【导入】的方式将探源工具获取的结果进行导入。图7 探源工具运行结果图8 查看检查结果附件字段检查与表命名规范检查一样，可以添加需要监控的对象后配置需要采集信息的数据库、表，用户可根据需要修改/新增附加字段规范。同样，本功能模块需要运行探源工具获取检查结果。图9 附件字段检查

HAYDN解决方案工厂实施管理

云服务器内容精选

实施管理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线