检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查找事实表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找事实表信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
Shell 功能 通过Shell节点执行用户指定的Shell脚本。 Shell节点的后续节点可以通过EL表达式#{Job.getNodeOutput()},获取Shell脚本最后4000字符的标准输出。 使用示例: 获取某个Shell脚本(脚本名称为shell_job1)输出值包
互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 实例超时是否忽略等待时间
复制名称与重命名脚本 您可以通过复制名称功能复制当前脚本名称,通过重命名功能修改当前脚本名称。 前提条件 已完成脚本开发,请参见开发脚本。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio
DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
GBase SQL 功能 通过GBase SQL节点传递SQL语句到GBase中执行。 参数 用户可参考表1和表2配置GBase SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
DORIS SQL 功能 通过Doris SQL节点传递SQL语句到Doris中执行。 参数 用户可参考表1和表2配置Doris SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
新建工程的目录结构 “main.py”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。 调用API示例 在工程中引入apig_sdk。 1 2 3 from apig_sdk import signer import requests import os
sdk-request:签名算法的调用示例,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。 调用API示例 在工程中引入sdk。 1 using APIGATEWAY_SDK; 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3
Sub Job 功能 通过Sub Job节点可以调用另外一个批处理作业。 参数 用户可参考表1和表2配置Sub Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
解决方案 CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群,实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业,配合For
备份管理 通过备份功能,您可定时备份系统中的所有作业、脚本、资源和环境变量。 通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。
新建工程的目录结构 “signer.php”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。 调用API示例 在代码中引入sdk。 1 require 'signer.php'; 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚本/作业,必须通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业,您需要通过重新打开该脚本/作业,查看
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Python、Go、JavaS
如何在IAM中创建细粒度权限策略? 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的
以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚本/作业,必须通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业,您需要通过重新打开该脚本/作业,查看