检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源 SAP:SAP
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。
开发场景 场景说明 如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。
数据源管理 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。
接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源,用于创建数据API。在使用HIVE数据源前,您需要先接入数据源。 数据集成中仅支持百万以内数据量。
接入SAP数据源 概述 ROMA Connect支持把SAP系统作为一个数据源,通过RFC的方式与SAP对接,并用于数据集成任务。在使用SAP数据源前,需要先接入数据源。接入的SAP数据源需要为数据集成任务开启SAP相关权限,具体见表1。
接入DIS数据源 概述 ROMA Connect支持把DIS(数据接入服务)作为一个数据源,并用于数据集成任务。在使用DIS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写IOT数据分析云服务的域名地址。 项目ID 填写IOT数据分析云服务实例的projectId。 实例ID 填写IOT数据分析云服务实例的instanceId。
配置异常数据存储。 仅当目标端数据类型为MySQL、Oracle、PostgreSQL、SQL Server时可配置,在配置异常数据存储前,需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。
接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源,并用于数据集成任务。在使用MRS HDFS数据源前,您需要先接入数据源。
接入MRS HBase数据源 概述 ROMA Connect支持把MRS HBase作为一个数据源,并用于数据集成任务。在使用MRS HBase数据源前,您需要先接入数据源。
接入Redis数据源 概述 ROMA Connect支持把Redis数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用Redis数据源前,您需要先接入数据源。
跟踪号是什么,能跟踪到数据吗? 跟踪号为后台跟踪任务状态使用,不能跟踪到数据。 父主题: 数据集成普通任务
创建数据字典 概述 数据字典可以将系统数据库的关键值开放给用户使用。数据字典中的DEVICE_TYPE为默认数据字典,用户也可自定义创建数据字典。
存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时,每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型,可选择“文本文件”。
例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw.png为对象全路径名。 doc_type 待嵌入水印的文档类型。
KAFKA数据源;3-目标端为本ROMA实例内KAFKA数据源;6-目标端为DIS数据源;7-目标端为设备。