检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
印溯源数。 图2 数据概况 数据分析报表 敏感表密级分布图 展示敏感发现任务识别出的表的密级分布,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现
数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源,介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源,即通过管理
日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。 当前企业数据面临很多的问题:没
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发
位到资产后手动删除。 技术资产中的库表列等信息来自于元数据采集任务,是否更新和自动删除取决于元数据采集任务的参数配置,详情请参见配置元数据采集任务。 技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要查看的作业,右键单击作业名称,选择“查看作业依赖关系图”,界面弹出“作业依赖关系视图”页面。 图1 作业依赖关系视图 在弹出的“作业依赖关系视图”页面,支持如下操作:
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
用户流量限制(次/10s) 查询识别规则列表 查询识别规则列表。 3600 40 创建识别规则 创建识别规则。 1800 20 查询特定识别规则 查询特定识别规则。 3600 40 删除识别规则 删除识别规则。 1800 20 修改识别规则接口 修改识别规则接口。 1800 20 批量删除识别规则接口 批量删除识别规则接口。
Studio实例的数据架构中已创建的表导出到Excel文件中。导出后的文件可用于导入到关系模型中。导出模型的操作请参见导出表或DDL。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存,模板中的“填写说明”Sheet页供参考。 模板中的参数,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
数据安全在数据开发过程中完成数据安全的IT实现,以达成数据应用过程中安全管理规范的要求。 以上工作的有效开展,离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。 图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上
单击“新建”,配置质量作业的基本信息,如下图所示。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后配置规则信息,如下图所示。 单击“下一步”,配置告警信息,如下图所示。 单击“下一步”,配置订阅信息,如下图所示。 单击“下一步”,配置调度信息,如下图所示。 单击“提交”,完成质量作业的创建。
单击“新建”,配置对账作业的基本信息,如图8所示。 图8 配置对账作业基本信息 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后配置对账规则,选择数据迁移前后两张数据表,并配置告警规则,如图9所示。 图9 配置对账规则 源端和目的端的信息需要分别配置。 配置告警条
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
逻辑模型 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,是最
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
您可以根据您的需要,对已创建发布的API进行管理。 编排API 编排API是将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。 (可选)配置流控策略 为了保护后端服务的稳定的考虑,您可以对API进行流量控制。
和跨表的分析。DQC支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 数据质量监控 查看质量评分 质量评分为5分制,是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分,本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您