数据质量基本功能介绍
数据质量:可控可检验
数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。
业务指标监控
- 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则和业务场景,实时、周期性进行调度,满足业务的数据质量监控需求。
数据质量监控
- 数据质量监控是对数据库里的数据质量进行质量管理的工具,您可以配置数据质量检查规则,在线监控数据准确性。
- 数据质量可以从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析,也支持数据的标准化,能够根据数据标准自动生成标准化的质量规则,支持周期性的监控。
业务指标监控概述
业务指标监控模块是对业务指标进行质量管理的工具。
- 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,您可以判断业务指标是否满足质量规则。
业务指标监控主界面包括以下功能模块。
功能
|
说明
|
---|---|
总览 |
默认首页是总览页面,显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容: 快速入门,介绍业务指标监控的业务流。 最近7天内的业务场景实例运行分布情况、实例告警运行分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。 |
指标管理 |
指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。 |
规则管理 |
规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 |
业务场景管理 |
业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 |
运维管理 |
运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 |
数据质量监控概述
数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。
另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。
数据质量监控主界面包括以下功能模块。
功能
|
说明
|
---|---|
总览 |
默认首页是总览页面,显示了数据表的报警和阻塞情况。 主要包括以下几部分内容: 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 |
规则模板 |
质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 |
质量作业 |
质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 |
对账作业 |
对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 |
运维管理 |
运维管理用于查看规则运行状态,处理运维问题。 |
质量报告 |
系统根据作业的结果,会自动生成质量报告。 |