检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘导入 功能介绍 血缘查询。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lineage/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
批量血缘(邀测) 功能介绍 批量血缘接口,一次性获取所有作业算子的血缘。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/lineage/bulk 表1 路径参数 参数 是否必选
数据治理度量评分规则 数据治理成熟度评估分5个级别: 级别1是最低级别,数据治理处于初始级别,空白状态,没有相关流程及数据治理管控。 级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。 级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。
数据资产guid 每个业务资产、技术资产或指标资产都具备guid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,
查询作业列表 功能介绍 查询批处理或实时作业列表,每次查询返回的作业数量上限是100。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs?jobType={jobType}&offset
使用按日历进行自定义工作日期进行周期调度,如果非工作日,作业会进行空跑。例如作业周期调度、补数据。 配置好的调度日历,如果工作日期进行变更,已经在执行的作业实例无法生效,还没生成的作业实例可以立即生效。 监听OBS 打开监听OBS开关后,系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。
数据架构示例 DataArts Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 本章节操作场景如下: 对MRS Hive数据湖中的出租车出行数据进行数据模型设计。
同步MRS Hive和Hetu权限 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下,通过Hetu访问同集群的Hive数据源,会统一使用Hetu端的Ranger权限做鉴权,而不受Hive端的Ranger权限管控。 为了避免该场景下需要在Hetu端重复
查询业务资产目录树 功能介绍 逐级查询业务资产目录树,包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/business-assets/tree/subnode 表1 路径参数 参数 是否必选 参数类型
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数,以及引用后的生效范围、是否支持EL表达式和简易变量集等,让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数,但作用范围不同;另外如果工作空间环境
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
执行脚本 功能介绍 该接口用以执行指定脚本,支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala
配置下载权限 本章介绍如何通过下载权限策略,基于用户或用户组,对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。 DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_POLICY”的
I。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
贯标与评估流程 贯标流程 DCMM贯标流程主要分为三个阶段: 差距分析:贯标启动,进行差距分析。 能力提升:建立数据管理组织,完善制度,内部运行并开展自评估。 评估确认:组建评估队伍,开展第三方评估,获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤:
目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression String 转换表达式。 field_names Array of strings 来源字段名称列表。 changed Boolean 字段是否发生变化。
运维概览 在“运维调度 > 运维概览”页面,用户可以通过图表的形式查看作业实例的统计数据,目前支持查看以下七种统计数据。 运行状态 通过时间和责任人可以筛选出今天的我的或者全部责任人的作业实例调度运行状态概览 通过时间和责任人可以筛选出昨天的我的或者全部责任人的作业实例调度运行状态概览
查询采集任务列表 功能介绍 查询采集任务列表。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
查找业务限定 功能介绍 通过中英文名称、描述、创建者、审核人、限定分组id、修改时间状态分页查找限定信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/conditions 表1 路径参数 参数 是否必选 参数类型 描述 project_id