检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。
新建时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。
时间限定:时间限定是时间条件限制的标准化定义。 通用限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后面的条件,不包括时间区间)。 前提条件 在新建衍生指标之前,请先确认原子指标已经新建并通过审核。
图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后,在列表中勾选刚才新建的3个数据标准,然后单击“发布”发布数据标准。 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过后,数据标准发布成功。
图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后,在列表中勾选刚才新建的3个数据标准,然后单击“发布”发布数据标准。 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过后,数据标准发布成功。
发布数据标准 DAYU_DS dsStandardElement publishedStandardElement 下线数据标准 DAYU_DS dsStandardElement offlineStandardElement 删除数据标准 DAYU_DS dsStandardElement
获取所有目录 功能介绍 获取所有目录(数据标准、码表)。 调用方法 请参见如何调用API。
*指标名称 指标的标准名称,需要保持唯一性。 指标编码 由系统自动生成。 指标别名 指标在具体应用场景(报表/报告)中习惯或者简化使用的名字。 *设置目的 简要描述通过此指标希望达到的管理目的。 *指标定义 准确描述指标含义,相关人员能够理解指标所度量的内容。
分类是自上而下的,通过对事物进行分析,按照一定的标准,划分出不同的类别。
支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 业务指标监控 监控业务指标 数据质量监控 查看质量作业 步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图。
DSMM旨在标准先行,推动数据安全,进一步提升企业数据安全能力,增强数据安全意识,挖掘数据价值,培育数据要素市场。
导入数据标准 在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心 > 标准模板管理”页面,修改新空间数据标准模板,完成后单击“确定”。
数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。
调用已创建的数据集成作业,将原始数据标准化为GES点/边数据集,并同步到OBS和MRS Hive中。
在本示例场景下,当前面临的数据问题如下: 未建立标准化模型 数据字段命名不标准、不规范 数据内容不标准,数据质量不可控 统计口径不一致,困扰业务决策 通过DataArts Studio实施数据治理,期望能够达到以下目标: 数据标准化、模型标准化 统一统计口径,提供高质量数据报告 数据质量监控告警
另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。 数据质量监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面,显示了数据表的报警和阻塞情况。
删除目录 功能介绍 删除目录(数据标准、码表)。 调用方法 请参见如何调用API。
创建目录 功能介绍 创建目录(数据标准、码表)。 调用方法 请参见如何调用API。
修改目录 功能介绍 修改目录(数据标准、码表)。 调用方法 请参见如何调用API。
10800 120 删除数据标准 删除数据标准。 10800 120 修改数据标准 修改数据标准。 10800 120 查看数据标准详情 通过ID获取数据标准详情信息。 21600 240 关联属性与数据标准 关联属性与数据标准。