-
开发API工作流 - 数据治理中心 DataArts Studio
API工作流不能有环状结构,不能有孤立算子,最多支持20层深度。 图1 API工作流编排页面 表1 API工作流算子介绍 配置入口 算子 是否必选 介绍 触发器 入口API 必选 入口API算子是API工作流的入口,工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工
-
新建整库迁移作业 - 数据治理中心 DataArts Studio
a* DDS 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 ddsdb 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 - 配置目的端作
-
配置定时任务 - 数据治理中心 DataArts Studio
为了业务运行逻辑统一和避免调度冲突,推荐您启用数据开发调度即可,无需配置CDM定时任务。 定时任务功能原理:采用Java Quartz定时器,类似Cron表达式配置。对起始时间解析出分,小时,天,月。构造出cronb表达式。 以配置天调度为例:重复周期选择1天:若当前时间2022/10/14
-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
变量是DATE,脚本中就写${DATE})。在作业参数配置里面,您可以在3中编写脚本参数DATE的语句表达式。 在“脚本开发”界面,在编辑器中输入开发语句。 INSERT INTO B (SELECT * FROM A WHERE DATE = ${DATE}) 图1 开发脚本
-
修改连接 - 数据治理中心 DataArts Studio
否 Integer 连接ID creation-date 否 Long 创建连接的时间 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-c
-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
变量是DATE,脚本中就写${DATE})。在作业参数配置里面,您可以在3中编写脚本参数DATE的语句表达式。 在“脚本开发”界面,在编辑器中输入开发语句。 INSERT INTO B (SELECT * FROM A WHERE DATE = ${DATE}) 图1 开发脚本
-
配置方式生成API - 数据治理中心 DataArts Studio
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作,仅在注册API时使用。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。
-
处理消息 - 数据治理中心 DataArts Studio
action 否 Integer 执行动作。0=立刻执行, 1=定期执行。 time 否 String 使用截止时间。仅定期执行需要此参数,默认服务器当前时间三天后。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
-
脚本/MyBatis方式生成API - 数据治理中心 DataArts Studio
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作,仅在注册API时使用。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。
-
步骤1:准备工作 - 数据治理中心 DataArts Studio
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图8所示。 图8 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
配置OBS目的端参数 - 数据治理中心 DataArts Studio
OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步
-
新建数据连接 - 数据治理中心 DataArts Studio
SQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见配置RDS数据连接。 ORACLE 请参见配置ORACLE数据连接。 DIS 请参见配置DIS数据连接。
-
创建连接 - 数据治理中心 DataArts Studio
否 Integer 连接ID creation-date 否 Long 创建连接的时间 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-c
-
新建MySQL连接 - 数据治理中心 DataArts Studio
创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“RDS”,并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。
-
查询集群列表 - 数据治理中心 DataArts Studio
参数 参数类型 描述 resource_id String 资源id resource_type String 资源类型:server(服务器) 表12 ClusterTask 参数 参数类型 描述 description String 任务描述 id String 任务id name
-
查询集群详情 - 数据治理中心 DataArts Studio
参数 参数类型 描述 resource_id String 资源id resource_type String 资源类型:server(服务器) 表8 CustomerConfig 参数 参数类型 描述 failureRemind String 失败提醒。 clusterName String
-
配置MRS Hive数据连接 - 数据治理中心 DataArts Studio
3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: 为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
-
配置MRS Spark数据连接 - 数据治理中心 DataArts Studio
3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: MRS API连接方式的MRS Spark数据连接适用于数据开发场景,代理连接方式的MRS
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: 为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
-
支持的数据源(2.9.3.300) - 数据治理中心 DataArts Studio
MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)