检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MySql源端参数 支持从MySQL导出数据。 表1 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的
新建作业 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。 前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录,则可以跳过当前操作。
购买DataArts Studio实例 DataArts Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有 Administrator或Tenant Administrator
购买DataArts Studio基础包 DataArts Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有DAYU Administrator或Tenant Administrator
步骤2:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句
manager 否 String API审核人。 path 否 String API路径。 protocol 否 String API请求协议类型。
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度
ORACLE数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时
Android 操作场景 使用Android语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Android
create_by String 创建人。 update_by String 更新人。 状态码: 400 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。
lastUpdateUser 否 String 作业最后修改人。 logPath 否 String 作业运行日志存放的OBS路径。
配置Oracle源端参数 作业中源连接为Oracle数据库连接,源端作业参数如表1所示。 表1 Oracle作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,
curl 操作场景 使用curl命令调用APP认证的API时,您需要先下载JavaScript SDK生成curl命令,然后将curl命令复制到命令行调用API。 前提条件 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
create_by String 创建人,只读。 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。
新建DataArts Studio与MySQL数据库的连接 本章节以新建MySQL连接为例,介绍如何建立DataArts Studio与数据库底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)