检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 作业监控”。 单击“批作业监控”页签，进入批作业的监控页面。 通过条件筛选，查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题：
步骤4：元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控，我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。
什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的
权限治理使用流程 统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力，包含如下特性： 集中式访问控制 融合了不同的大数据服务进行统一权限管理，如MRS、DWS、DLI等，给用户带来了统一的权限配置入口，极大的提高了易用性和可维护性。 多级权限配置模型
提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力，支持多人协同开发场景。 支持作业的版本管理能力，支持生成保存版本和提交版本。
作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作，仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限，则会出现如下非必需权限过大的风险：
暂停运行中的实时集成作业。 方式一： 登录DataArts Studio控制台实例，进行所用空间的数据开发界面，单击左侧导航栏的“作业监控”，进入“实时集成作业监控界面”，搜索对应的实时集成作业，单击右侧操作栏中的“暂停”按钮。 图1 暂停作业1 方式二： 登录DataArts Studi
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
Data Quality Monitor 功能 通过Data Quality Monitor节点可以对运行的数据进行质量监控。 参数 用户可参考表1和表2配置Data Quality Monitor节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包
DataArts Studio和沃土是什么关系？ 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础，通过优化整合新ICT技术，融合数据，使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块，帮助接入沃土数字平台的企业更好的管理使用数据。
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”，如下图所示。
数据架构中指标侧重业务维度，用来衡量目标总体特征的统计数值；数据质量中指标侧重监控维度，用来管理所有业务指标，包括指标的来源、定义等。 注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。同时，数据质量模块的业务指标监控即将下线，推荐使用数据架构的业务指标功能。 父主题：
诺时间。系统将根据监控范围内任务历史运行情况推算出的任务预计最晚完成时间，并结合基线上任务的实际运行情况进行监控，当预测到基线上任务无法在基线预警时间（基线承诺时间-预警余量）内完成时，系统将根据该基线定义的基线报警接收人发送基线报警信息。 告警类型 基线预警 基线监控的链路上，
成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布 手动新建码表，完成新建后可以参考填写数值到码表中添加码表记录。
命周期管理和智能数据管理能力的一站式治理运营平台，包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛
、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。
质量作业和对账作业的区别不清楚，需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检
failed, so the current node status is set to cancel.”。 解决方案 依赖的作业有失败的，在作业实例监控的状态为“已取消”右侧有个问号，单击该问号可以查看依赖作业的失败实例。 父主题： 数据开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
