检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Apache Hive数据连接参数说明 表1 Apache Hive数据连接 参数 是否必选 说明 数据连接类型 是 Apache Hive连接固定选择为Apache Hive。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
GBase数据连接参数说明 表1 GBASE数据连接 参数 是否必选 说明 数据连接类型 是 GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
DWS数据连接参数说明 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
注册API 本文将为您介绍如何将已有的后端服务API,借助数据服务统一注册发布到API网关,与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册,包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制
开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业,请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业,详情请参见新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业
ORACLE数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1
CDM Job 功能 通过CDM Job节点执行一个预先定义的CDM作业,实现数据迁移功能。 如果CDM作业中配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。
支持的数据源(2.9.2.200) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。
SAP HANA数据连接参数说明 表1 SAP HANA数据连接 参数 是否必选 说明 数据连接类型 是 RDS(SAP HANA)连接固定选择为RDS(SAP HANA)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
支持的数据源(2.9.3.300) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。
DLI SQL 功能 通过DLI SQL节点传递SQL语句到DLI SQL中执行,实现多数据源分析探索。 原理 该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句,可以使用参数变量为用户的数仓进行增量导入,分区处理等动作。 参数 用户可参考表1,表2和表3配置DLI
创建连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 创建一个新连接,当前支持的连接类型有DWS、DLI、SparkSQL、HIVE、RDS、CloudTable。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 Import GES算子的具体使用教程,请参见基于MRS Hive表构建图数据并自动导入GES。 参数 用户可参考表1和表2配置Import GES节点的参数。 表1 属性参数 参数
创建数据集成作业 本章节将介绍如何创建DataArts Studio数据集成作业。 本例中,需要创建如下三类集成作业: OBS到MySQL迁移作业:为方便演示,需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业:正式业务流程中,需要将MyS
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
管理维度表 维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
新建DataArts Studio与DWS数据湖的连接 本章节以新建DWS连接为例,介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务(MRS Kafka)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。