检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。 OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数
数据的处理分析流程。 数据质量 数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。 数据目录 提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服务
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。
补数据监控 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。
查看工作空间数据地图 查看工作空间内的数据资产 查看资产总览 查看数据资产 管理资产标签 父主题: 数据目录
则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则直接新建数据表。具体请参见(可选)新建数据库模式。
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质
“数据目录”模块,进入数据目录页面。 选择“数据安全 > 数据密级”,用户可以在该页面新建、管理和删除分级,也可以调整分级的优先级。 创建分级:单击“数据密级”页签左上角的“新建”,输入名称和描述。 删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:
第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,数据湖中数据
删除”,可以删除数据表,其中发布审核中,已发布和下线审核中状态的数据表不可被删除。且数据被引用的数据表不可被删除。 下线 单击“更多 > 下线”,可以下线已发布且不带下展的数据表。数据被引用的数据表不支持下线。 “带下展”,指发布审核后又重新编辑的数据。 发布 单击“发布”,可发布数据表。发布审核中、下线审核中、已
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节
数据治理框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
数据服务 数据服务SDK支持的语言? 创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API?