检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”的MRS集群,安全性更强),具体操作请参见创建集群。 为确保MRS集群与DataArts Studio实例网络互通,MRS集群需满足如下要求: MRS集群必须包含Hive组件。 如需使用基于DataArts Studio数据架构的数据标准自动生成质量作业的功能,MRS集群版本必须是2
OFFLINE_DEVELOPING: 下线待审核 OFFLINE: 已下线 REJECT: 已驳回 tb_guid 否 String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid 否 String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。
组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 手动 否 通过代理连接时,是必选项。 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。
组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 Doris类型 是 可选择MRS Doris和CloudTable Doris。 MRS集群名 是 当选择MRS
OFFLINE_DEVELOPING: 下线待审核 OFFLINE: 已下线 REJECT: 已驳回 tb_guid String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。
生产环境创建表状态 dev_physical_table String 开发环境创建表状态 technical_asset String 技术资产同步状态,只读。 business_asset String 业务资产同步状态,只读。 meta_data_link String 资产关联状态,只读。
配置默认项 本章节主要介绍默认项的配置。当前只有具备 Administrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。 使用场景 当某参数被多个作业调用时,可将此参数提取出来作为默认配置项,无需每个作业都配置该参数。 表1 配置项列表
OFFLINE_DEVELOPING: 下线待审核 OFFLINE: 已下线 REJECT: 已驳回 tb_guid String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
同步任务类型枚举。 枚举值: BUSINESS_ASSET: 同步业务资产 DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE:
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
同步任务类型枚举。 枚举值: BUSINESS_ASSET: 同步业务资产 DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE:
查询作业列表 功能介绍 查询批处理或实时作业列表,每次查询返回的作业数量上限是100。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs?jobType={jobType}&offset
DataArts Studio支持的数据源 在使用DataArts Studio前,您需要根据业务场景选择符合需求的云服务或数据库作为数据底座,由数据底座提供存储和计算的能力,DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio支持的数据源
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本,开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000,脚本目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。
基线实例 系统使用基线实例计算任务每次运行的预计完成时间。本章节为您介绍如何查看基线实例详情和基线运行通知。 使用限制 仅开启状态的基线才会生成基线实例。详细信息请参见基线管理。 查看基线实例列表 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
生产环境创建表状态 dev_physical_table String 开发环境创建表状态 technical_asset String 技术资产同步状态,只读。 business_asset String 业务资产同步状态,只读。 meta_data_link String 资产关联状态,只读。
组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM集群)
同步任务类型枚举。 枚举值: BUSINESS_ASSET: 同步业务资产 DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE:
新建数据质量作业 质量作业可将创建的规则应用到建好的表中进行质量监控。 配置流程 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。注意