检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数
动确认执行,单击“确认执行”后,作业实例运行状态显示为“等待运行”。 事件驱动调度:根据外部条件触发作业运行,参数说明请参见表3。具体使用教程可参见跨空间进行作业调度。 是否空跑 如果勾选了空跑,任务不会实际执行,将直接返回成功。 任务组 选择已配置好的任务组。配置方法请参见配置任务组。
String 转储任务重名处理策略: OVERWRITE:覆盖 IGNORE:忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
String 转储任务重名处理策略: OVERWRITE : 覆盖 IGNORE :忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm”。
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link
超时时间系统默认为24小时,支持修改。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后参见表2配置数据对账规则。您也可选择添加对账规则。 图3 打开对账作业规则配置 表2 配置模板规则 模块 参数名 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
h:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明。 datastore Datastore object 集群信息,请参见datastore参数说明。 dbuser
支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数
information”,如何处理? 使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? DataArts Studio调度CDM任务时报错Given transaction
虚拟私有云 DataArts Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。
导出导入脚本 导出脚本 您可以在脚本目录中导出一个或多个脚本文件,导出的为开发态最新的已保存内容。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
指标自定义项)。 10800 120 标签接口 表26 标签接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 添加标签 根据资产(表或属性)的ID给资产打上标签。 10800 120 删除标签 根据资产(表或属性)的ID删除资产标签。 10800 120
DLI数据连接参数说明 表1 DLI数据连接 参数 是否必选 说明 数据连接类型 是 DLI连接固定选择为数据湖探索(DLI)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。
SQL作业界面的基本信息或Hive SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。 用户根据需要也可以继续添加自定义运行程序参数,最终Hive SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。 单击“保存”,对设置的配置项进行保存。
(可选)获取认证信息 DataArts Studio使用过程中,例如在数据集成创建OBS连接、API调用或问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。