检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性
业务分析师为主 华为智能数据湖方案 华为数据使能服务DAYU,为大型政企客户量身定制跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。 DAYU的核心主要是华为智能数据湖FusionIn
查询系统任务详情 功能介绍 本接口用于查询异步任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/system-tasks/{task_id} 参数说明 表1 URI参数说明 参数名 是否必选
配置作业调度任务(批处理作业)。 如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。 如果该作业在基线任务链路上或者被其他作业依赖, 暂停调度/停止调度时,系统会自动给出弹窗提示。 图3 启动作业 批作业监控:补数据 补数据是指作业执行一个调度任
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。 DataArts
补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。 图1 补数据监控主页 在图1的页面中,单击补数据名称,进入图2的页面。在此页面,用户可以查
Data Integration (SDI)又称贴源数据层。SDI是源系统数据的简单落地。 DWI Data Warehouse Integration (DWI)又称数据整合层。DWI整合多个源系统数据,源系统进来数据会有整合、清洗,基于三范式关系建模。 DWR Data Warehouse
应用场景 一站式的数据运营治理平台 从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析,一站式数据智能运营平台,帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数
Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts Studio提供了系统角色+工作空间角色授权的能力,由工作空间角色授权具体的操作权限,并支持自定义不同权限点的工作空间角色。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU
据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
CDM支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章
产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型设计,智能化的帮助用户生成数据处理代码,数据处理全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
Studio采用基础包+增量包的计费模式。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts
命周期管理和智能数据管理能力的一站式治理运营平台,包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud
、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有完全版本,详细描述了流程落地和功能落地内容。欢迎您通过《华为数据之道》图书进行深入了解,或进行服务咨询。