检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。
用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。
质量作业和对账作业有什么区别? 可能原因 质量作业和对账作业的区别不清楚,需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。
单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。
指标管理 指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。 规则管理 规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。
DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台,如果每日频繁调度大量的大数据作业,可能会遇到如下痛点: 作业失败无感知:大数据的离线作业大部分会在凌晨执行,当作业失败时,用户无法及时得知并处理。
在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题: 数据治理框架
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 问题描述 在作业监控页面里的“上次实例状态”只有运行成功、运行失败。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。 查看质量作业 在DataArts Studio数据开发中,作业运行成功后,您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。
选择“数据质量监控 > 质量报告”。 单击页面右上角的“立即刷新”按钮,页面将展示零点到当前时间的临时数据,用户可以立即获得当天的数据质量报告数据。 图10 立即刷新 父主题: 数据质量监控
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。
单击画布右侧“质量监控”页签,展开配置页面,配置如表6所示的参数。 表6 质量监控配置 参数 说明 执行方式 选择质量监控的执行方式: 并行:并行模式下,所有质量作业算子的上游都被设置为主算子。
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发