检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置互斥 通过配置互斥组,可以避免多个作业去并发的运行。配置好互斥组以后,本次设置将在作业的下一个调度周期生效。 互斥组配置完成后,在同一个互斥组内的作业,只能有一个作业是运行中,其他作业生成实例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度
Rest Client 功能 通过Rest Client节点执行一个华为云内的RESTful请求。 Rest Client算子的具体使用教程,请参见获取Rest Client算子返回值教程。 当由于网络限制,Rest Client某些API无法调通时,可以尝试使用Shell脚本进
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下
数仓规划 数仓规划,目前系统默认的数仓分层包含SDI、DWI、DWR、DM(Data Mart)等4层,支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。 SDI:Source Data I
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
新建时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻
时间周期 原子指标是计算逻辑的标准化定义,时间周期则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间周期在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间周期的定义可能来自于归属不同数据域的多个逻辑表
查询数据操作信息 功能介绍 查询数据操作信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/actions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查看数据资产 通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产来自于数据连接和元数据采集任务,其中的数据连接来源于管理中心的数据连接,库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。
配置建库申请(高级特性) 为了管控存算分离MRS Hive数据源的创建数据库流程,数据安全支持通过申请审批的流程在数据源上创建数据库。 在新版本模式下仅当使用企业版时,才支持建库申请和建库审批。旧版本模式使用基础版及更高版本时即可支持。 本章主要介绍管理员如何配置数据库路径,申请
创建空间资源权限策略 功能介绍 创建空间资源权限策略 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
配置环境变量 本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。 简单模式和企业模式下,配置工作空间的环境变量的角色有所不同: 简单模式:工作空间的环境变量开发者和管理员都能创建或编辑环境
查询技术资产 功能介绍 查询技术资产。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
更新空间资源权限策略 功能介绍 更新空间资源权限策略 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission-resource/{policy_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询业务资产 功能介绍 查询业务资产,包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/business-assets/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id
步骤1:流程设计 本入门指南以某市出租车出行数据为例,统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研,数据治理业务流程设计如图1所示,后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。
查询发布包列表 功能介绍 用于查询发布包的列表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages 参数说明 表1 URI参数说明 参数名 是否必选
主题设计 主题设计是通过分层架构表达对数据的分类和定义,帮助厘清数据资产,明确业务领域和业务对象的关联关系。 您可以通过以下两种方式进行主题设计: 新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂,建议采用导入方式批量导入主题信息。 您可以下载系统提供
配置离线处理集成作业 数据集成支持创建离线作业,通过在界面勾选源端数据和目的端数据,并结合为其配置的参数,实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。 本文为您介绍离线同步任务的常规配置,各数据源配置存在一定差异,请以配置作业源端参数及配置作业目的端参数为准。
查询动态数据脱敏策略列表 功能介绍 查询动态数据脱敏策略列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/masking/dynamic/policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id