检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过目录ID获取路径对象 功能介绍 通过目录id获取路径对象。通过目录id获取从根目录至当前目录链路上每一层的路径信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/layerpaths
生效,实时作业需要手动重启一下生效。 配置作业委托 支持新建作业时,配置作业级委托。也支持修改已有作业的委托。 新建作业时配置委托 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 >
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
获取任务执行结果列表 功能介绍 获取任务执行结果列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
新建工程的目录结构 “Main.java”无法直接使用,请根据实际情况参考调用API示例输入所需代码。 调用API示例 示例演示如何访问发布的API。 您需要在数据服务控制台自行创建和发布一个API。创建及发布API的步骤请参见创建API和发布API章节。 示例API的后端为打桩的HT
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,双击脚本名称,进入脚本开发页面。 在编辑器上方,配置如表1所示的属性。
Studio数据集成、管理中心和数据开发模块,DataArts Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS
批量删除识别规则接口 功能介绍 批量删除识别规则接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述
添加权限集成员 功能介绍 添加权限集成员。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/{permission_set_id}/members 表1 路径参数 参数 是否必选 参数类型 描述
修改识别规则状态接口 功能介绍 修改识别规则状态接口。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/rule/switch-status/{id} 表1 路径参数 参数 是否必选 参数类型
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成
able目的端参数。 是 Redis 清除数据库 在导入数据前清除数据库数据。 是 DDS 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 mongodb 迁移行为 选择新增或替换。 - 如果是关系型数据库整库迁移,则作业参数配置完成后,单击“下一
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
API调用者申请授权,本文以API调用者申请授权为例进行介绍。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 服务目录”,可查看到所有已发布的API信息。
是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、
批量移动API至新目录 功能介绍 批量移动API至新目录。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/apis/batch-move 表1 路径参数 参数 是否必选 参数类型 描述 project_id
传统周期调度依赖和自然周期调度依赖对比 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖,只支持同周期或者大周期依赖于小周期,不支持小周期依赖于大周期。详细说明如下: 同周期依赖,依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖,依赖时间段范围为上一个周期时间段内。
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 数据迁移进阶实践
不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成