正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看任务监控 监控元数据采集任务运行情况,查看采集日志,支持重跑采集任务。 在数据目录页面,选择“元数据采集 > 任务监控”。在任务监控页面,对采集任务进行监控,参考表1。 表1 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功
N N 新建作业标签 Y Y N Y N 删除作业标签 Y Y N Y N 查询作业标签 Y Y N Y Y 新建作业 Y Y N N N 删除作业 Y Y N N N 操作作业 Y Y N Y N 查询作业 Y Y N Y Y 编辑作业 Y Y N Y N 查询作业编辑锁详情 Y
Studio数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。 数据管理 数据管理流程 脚本开发 脚本开发流程 作业开发 作业开发流程 运维调度 运维概览 数据质量 对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表(物理表)、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题: 数据开发
详细展示作业实例的运行结果和日志。 质量作业结果 质量作业运行结果中,支持查询每条规则的运行状态(包括正常和告警)。如果质量作业状态为告警,可查看该告警是由哪条规则触发的。 质量作业运行结果中,支持显示子作业运行状态,支持通过子作业名称和子作业运行状态进行过滤。 对账作业结果 对
选择“数据质量监控 > 质量作业”,选择要批量调度的质量作业。 单击“更多 > 启动调度”,即可完成质量作业的批量调度。 图13 批量调度 批量停止调度质量作业 系统支持批量停止调度质量作业,一次最多可批量停止200个质量作业。 选择“数据质量监控 > 质量作业”,选择要批量停止调度的质量作业。
20180921145505 指标 输入迁移哪个指标的数据,或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数,如果这里有输入标记,则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2 父主题: 配置CDM作业源端参数
如何查看CDM作业被哪些作业进行调用? 问题描述 CDM作业被哪些作业进行调用。 解决方案 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。
技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。 已配置元数据采集任
批量修改目录(此处以码表管理模块为例) 批量修改流程 当前仅支持业务指标进行批量修改流程操作。 在DataArts Studio数据架构控制台,单击左侧导航栏中的业务指标。 进入业务指标页面后,在页面选择所需要批量修改流程的指标,单击“更多 > 修改流程”,可以将选中的项更改到其它流程。
该标签。 当作业标签处于“锁定”状态时,无法删除该作业标签。如需解锁作业标签,请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”,可进入作
功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,将字段关联数据标准后,维度发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未
运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。 具体请参见实例监控。 补数据监控 对补数据
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
单击“提交”,对账作业创建完成。 查看对账作业。 单击对应的对账作业操作列中的运行链接,运行对账作业后,自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图所示。 结果分析 至此,完成了通过DataArts Studio数据质量模块中的对账作业功能实现
调度配置完成后,您需要单击“保存”按钮保存作业并单击“提交”按钮提交作业版本。然后单击“执行调度”来启动作业的调度。 图19 保存并提交作业与执行调度 运维调度 您可以通过运维调度功能,查看作业以及作业实例的运行状态。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业监控界面。
板管理、指标编码规则。 配置中心 数据质量 数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。 已发布区域:全部 业务指标监控 数据质量监控 业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规
安全,数据应用,以及数据生存周期;并对每项能力域进行了二级能力项(28个过程项)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(445项指标)的制定。 该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
次对账作业为例的配置。 单击“提交”, 完成对账作业的创建。 执行对账作业并查看结果分析 在数据质量模块左侧导航栏中,选择“数据质量监控 > 对账作业”。 单击对账作业操作列中的“运行”,运行对账作业。 图12 运行对账作业 在数据质量模块左侧导航栏中,选择“数据质量监控 > 运维管理”,进入运维管理页面。