检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买并管理专享版集群 如果您对服务的性能需求不大,可使用共享版数据服务,直接进行新建数据服务审核人,而无需单独购买专享版实例。 本小节指导您顺利购买专享版实例,实例创建完成后,才能在数据服务专享版创建API并对外提供服务。 如果需要创建、删除专享版集群或修改API配额,则需具备以下权限之一的账号才能进行操作:
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即
发布任务包 功能介绍 目前支持发布包管理中相关包的发布,支持发布多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/deploy 参数说明
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求
DataArtsStudio实例一键购买接口 功能介绍 DataArtsStudio实例一键购买接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/onekey-purchase 表1 路径参数 参数 是否必选 参数类型
创建资源 功能介绍 创建一个新资源,作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后,您可创建并配置实时集成作业,将多种输入及输出数据源搭配组成同步链路,进行数据的实时同步。 前提条件 已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,详情请参见购买数据集成资源组。
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类: MRS集群:MRS HDFS,MRS
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计
DIS Client 功能 通过DIS Client节点可以给DIS通道发送消息。 您可以参考跨空间进行作业调度,获取DIS Client节点的使用案例。 参数 用户可参考表1配置DIS Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以
查看关系详情 功能介绍 通过ID获取关系详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/relation/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取主题层级 功能介绍 获取主题层级。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/subject-levels 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取质量作业列表 功能介绍 获取质量作业列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/quality-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取对账作业列表 功能介绍 获取对账作业列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/consistency-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查看限定详情 功能介绍 通过ID查看限定详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/conditions/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
编辑码表字段值 功能介绍 编辑码表字段值。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
创建码表 功能介绍 创建码表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/code-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。