检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建数据质量规则 数据质量支持对离线数据的监控,质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种,分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型,如表1所示。 表1 系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 质量报告”。 在“技术报告”页签,选择数据连接及时间段,系统支持查询报告的最大时间范围限制为30天,如图1所示。 图1 选择数据连接 以评分满分为5分为例。其中4-5
用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。 图1 新建规则的归属目录 表1 导航栏按键说明
独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 指标管理”页面创建归属目录。基于某个数据连接创建指标,需要选择指标目录,请参见图1创建归属目录。 图1 新建指标的归属目录 表1 导航栏按键说明
作业配置了周期调度,但是实例监控没有作业运行调度记录? 可能原因 作业配置了周期调度,但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。
用目录维护业务场景。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。 图1 新建业务场景的归属目录
查看业务场景实例 管理所有运行的业务场景,查看运行状态、运行日志、问题处理等。 界面说明 介绍“业务指标监控 > 运维管理”页面中的区域和按键功能。 图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏,包括业务场景实例和我的订阅。 业务场景
> 查看监控指标”。 单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后,单击“确定”。当符合规则的告警产生时,系统会自动进行通知。
如何创建通知配置对全量作业都进行结果监控? 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。 勾选需要配置的作业,单击“通知配置”。
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 问题描述 在作业监控页面里的“上次实例状态”只有运行成功、运行失败。 解决方案 上次实例状态是作业已经执行完成,只有成功、失败;实例监控里面状态有取消、暂停等好几种,是因为展示了作业的所有状态,另外作业运行异常和错误都会是作业失败的状态。
数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 系统支持将自定义
在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签,单击作业名称。 在详情页面,选择“监控信息”,单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 图1 创建告警规则 设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。
> 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题:
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
查询系统任务详情 功能介绍 本接口用于查询异步任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/system-tasks/{task_id} 参数说明 表1 URI参数说明 参数名 是否必选
作业开发时,测试运行后不知道如何查看运行日志。 解决方案 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例,介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规
暂停运行中的实时集成作业。 方式一: 登录DataArts Studio控制台实例,进行所用空间的数据开发界面,单击左侧导航栏的“作业监控”,进入“实时集成作业监控界面”,搜索对应的实时集成作业,单击右侧操作栏中的“暂停”按钮。 图1 暂停作业1 方式二: 登录DataArts Studi
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作,仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险: