-
创建连接(待下线) - 数据治理中心 DataArts Studio
连接管理能力由管理中心统一提供,相关接口已经不维护了,推荐使用管理中心API。 功能介绍 创建一个新连接,当前支持的连接类型有DWS、DLI、SparkSQL、HIVE、RDS、CloudTable。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式
-
与其他云服务的关系 - 数据治理中心 DataArts Studio
网络通信。 API网关服务 DataArts Studio通过API网关服务(API Gateway,简称APIG)对外开放各组件的API接口。另外,数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio支持将数据湖探索服务(Data Lake
-
配置方式生成API - 数据治理中心 DataArts Studio
完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,请仔细查看错误提示并做相应的修改重新测试。 完成A
-
作业开发时,测试运行后如何查看运行日志? - 数据治理中心 DataArts Studio
作业开发时,测试运行后如何查看运行日志? 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
-
元数据采集任务接口 - 数据治理中心 DataArts Studio
元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API
-
数据库、数据仓库、数据湖与华为智能数据湖方案 - 数据治理中心 DataArts Studio
数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。
-
什么是数据治理中心DataArts Studio - 数据治理中心 DataArts Studio
缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。 数据运营的挑战 数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。
-
业务指标监控概述 - 数据治理中心 DataArts Studio
当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,
-
数据质量监控概述 - 数据治理中心 DataArts Studio
数据质量监控概述 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量
-
创建并管理工作空间 - 数据治理中心 DataArts Studio
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
-
元数据实时同步接口(邀测) - 数据治理中心 DataArts Studio
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口,支持批量。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
-
数据治理实施方法论 - 数据治理中心 DataArts Studio
度量评估: 表1 度量评估 度量评估工具 度量评估对象 度量评估方法 度量评估频次 数据治理成熟度评估 企业整体 调查问卷 年度 数据治理评分卡 各业务及IT部门 数据治理工作组与各业务及IT部门共同打分 季度 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估,了
-
调用API - 数据治理中心 DataArts Studio
使用IAM认证时,需要通过调用IAM服务的获取用户Token接口获取Token,然后通过在请求消息头中添加“X-Auth-Token”参数并将所获取的Token作为参数值,再通过API调用工具或SDK方式调用已发布的API。 “无认证”:不需要认证。安全级别低,所有用户均可访问,建议仅在测试接口时使用,不推荐正式使用
-
调用数据开发接口报错,Workspace does not exists? - 数据治理中心 DataArts Studio
调用数据开发接口报错,Workspace does not exists? 代码的request请求的header要添加项目Id,即header.add("X-Project-Id",项目Id)。 父主题: 数据开发
-
开发一个Python作业 - 数据治理中心 DataArts Studio
主机地址:已开通ECS主机中开通的ECS主机的IP地址。 绑定Agent:已开通批量数据迁移增量包中开通的CDM集群。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Py
-
数据治理中心 DataArts Studio - 数据治理中心 DataArts Studio
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力:
-
DataArtsStudio实例一键购买接口 - 数据治理中心 DataArts Studio
DataArtsStudio实例一键购买接口 功能介绍 DataArtsStudio实例一键购买接口 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/onekey-purchase 表1 路径参数 参数 是否必选 参数类型
-
新建一个对账作业实例 - 数据治理中心 DataArts Studio
)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。
-
脚本/MyBatis方式生成API - 数据治理中心 DataArts Studio
完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,请仔细查看错误提示并做相应的修改重新测试。 完成A
-
约束与限制 - 数据治理中心 DataArts Studio
CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题: 使用前必读