检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题： 数据质量
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标： 数据标准化、模型标准化 统一统计口径，提供高质量数据报告 数据质量监控告警 统计每天收入 统计某月收入 统计不同支付类型收入占比 流程简介 本入门指导将参考如表1所示的流程，实现示例场景的数据治理。
对账作业可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 运维管理 运维管理用于查看规则运行状态，处理运维问题。 质量报告 系统根据作业的结果，会自动生成质量报告。 父主题： 数据质量监控
Y N N 操作采集任务 Y Y Y N 查询采集任务 Y Y Y Y 编辑采集任务 Y Y N N 编辑审批单 Y Y N N 编辑资产报告 Y Y N N 新建标签 Y Y N N 删除标签 Y Y N N 查询标签 Y Y Y Y 编辑标签 Y Y N N 新建资产 Y Y
数据质量监控模块总览中的变化趋势支持按照30天展示，质量告警分类趋势和规则数量趋势支持按照7天展示。 质量报告采用T+1日定时批量生成，质量报告数据保留90天。 导出质量报告至OBS，会将质量报告导出到工作空间中配置的作业日志OBS路径中，导出记录保留3个月。 数据目录 单工作空间中元数据采集任务最多创建100个。
维度建模：在DWR层新建并发布维度&维度建模：在DWR层新建并发布事实表。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP
${Schema_Table1}，则输出结果说明可写为“最大值，最小值”，注意输入顺序。 评分公式：此处输入评分公式。自定义模板在此处输入评分公式后，可以参与质量评分，在质量报告中显示评分和规则。 示例：${1}/${2}，其中${1}和${2}分别表示第1列输出结果和第2列输出结果；公式的返回值范围是[0-1]。
展。 维度建模需要基于维度，新建DWR层模型，最终将数据汇总到DM层模型中。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 数据集市，面向展现层，数据有多级汇总。 DM（Data Mart）：又称数据集市。DM面向展现层，数据有多级汇总。
Ranger权限管理流程 配置资源权限 通过统一入口创建MRS各个组件的权限策略，由Ranger组件实现权限控制。 查看权限报告 通过全面的权限报告，查看资源配置权限策略及其详情。 数据权限管控说明 当前数据权限管控为白名单机制，是在待授权用户原有权限的基础上增加允许操作条件
*流程架构 指标对应的一级流程。 *指标名称 指标的标准名称，需要保持唯一性。 指标编码 由系统自动生成。 指标别名 指标在具体应用场景（报表/报告）中习惯或者简化使用的名字。 *设置目的 简要描述通过此指标希望达到的管理目的。 *指标定义 准确描述指标含义，相关人员能够理解指标所度量的内容。
*流程架构 指标对应的一级流程。 *指标名称 指标的标准名称，需要保持唯一性。 指标编码 由系统自动生成。 指标别名 指标在具体应用场景（报表/报告）中习惯或者简化使用的名字。 *设置目的 简要描述通过此指标希望达到的管理目的。 *指标定义 准确描述指标含义，相关人员能够理解指标所度量的内容。
对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责，确保行为即记录，记录即数据，并依据数据质量规格对本领域数据进行度量和报告。 落实本领域信息架构的建设和遵从，负责本领域数据资产的看护，维护相应数据标准和数据目录并更新发布。 承接上下游数据需求，并主动根据领域内
进行关系建模。 维度建模：基于维度建模，新建DWR层模型并发布维度和事实表。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP
(DWI)又称数据整合层。DWI整合多个源系统数据，源系统进来数据会有整合、清洗，基于三范式关系建模。 DWR Data Warehouse Report (DWR)又称数据报告层。 DWR基于多维模型，和DWI层数据粒度保持一致。 DM Data Mart (DM) 又称数据集市。DM面向展现层，数据有多级汇总。
支持通过子规则的告警条件，分别上报告警。 将子规则之间的告警参数值通过数学运算和逻辑运算，设置一个统一的告警条件表达式来表示作业是否告警。 告警规则系统会默认1个，最多允许添加5个。 配置告警信息时，以上两种告警配置方式均支持选择调度日历信息，在上报告警时，会按照日历告警规则，判断
Array of ModelStatisticVO objects 物理模型。 dwr ModelStatisticVO object DWR数据报告层。 dm ModelStatisticVO object DM数据整合层。 表6 ModelStatisticVO 参数 参数类型 描述
Boolean 分层治理。 level 否 String 数据治理分层。 枚举值： SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POST
Boolean 分层治理。 level 否 String 数据治理分层。 枚举值： SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POST
统计口径不一致，困扰业务决策 通过DataArts Studio实施数据治理，期望能够达到以下目标： 数据标准化、模型标准化 统一统计口径，提供高质量数据报告 数据质量监控告警 统计每天收入 统计某月收入 统计不同支付类型收入占比 业务调研 在开始使用DataArts Studio前，您可以通过
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
