检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建资源 功能介绍 创建一个新资源,作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
查询告警通知记录 功能介绍 此接口可以查询指定时间段内的告警通知记录。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/alarm-info?start_time={start_
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts
修改资源 功能介绍 此接口可以修改指定资源,修改时,请指定资源ID。 资源类型和资源目录不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/resources/{resource_id}
解锁作业 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
创建工作空间 功能介绍 创建工作空间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/workspaces/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
解锁脚本 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
通知周期概览 操作场景 用户可以按照天/周/月为调度周期配置通知任务,向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况(作业调度成功数量,作业调度失败异常数量以及作业失败详情)。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题,为主题添加订阅。
管理文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 约束与限制 结构化数据文件暗水
通过白名单授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
源端为DMS Kafka,目的端为OBS 目前支持整库场景。 整库场景 源端配置。 Kafka配置。 数据格式:源端Kafka Topic中消息内容的格式。 目前支持JSON、CSV、TEXT格式。 JSON格式:支持对消息内容以JSON的层级格式进行解析。 CSV格式:支持对消息内容以CSV格式指定分隔符进行解析。
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
申请API授权 对于API调用者而言,如果API开发者未授权APP或IAM认证方式的API,则需要自行申请API授权,等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用(详见通过应用授权APP认证方式API、通过应用授权IAM认证方
发布API 本文将为您介绍如何将数据服务中的API发布到服务目录。 操作场景 为了安全起见,在数据服务中生成的API以及注册的API,都需要发布到服务目录中才能对外提供服务。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
移动脚本/脚本目录 您可以通过移动功能把脚本文件从当前目录移动到另一个目录,也可以把当前脚本目录移动到另一个目录中。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts