-
配置数据映射规则 - 应用与数据集成平台 ROMA Connect
源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。 若目标端数据类型为MRS Hive时,如果要配置分区字段写入,请参见MRS Hive分区字段映射配置说明。 自动配置Mapping 若源端信息与目标端信息中都定义了元数据,可使用“自动Mapping”方式配置Mapping信息。
-
通过函数API开放数据 - 应用与数据集成平台 ROMA Connect
var config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
-
配置目标端数据信息 - 应用与数据集成平台 ROMA Connect
新数据。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DWS Kafka MySQL MongoDB Oracle PostgreSQL RabbitMQ SQL Server OBS API
-
多个数据源编排 - 应用与数据集成平台 ROMA Connect
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
-
工业互联网集成 - 应用与数据集成平台 ROMA Connect
工业互联网集成 制造业数字化转型中有几类典型问题: 难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。
-
配置源端数据信息 - 应用与数据集成平台 ROMA Connect
配置源端数据信息 概述 本节主要提供数据集成任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API
-
接入MongoDB数据源 - 应用与数据集成平台 ROMA Connect
要接入的MongoDB数据库是否为集群模式。 若接入的MongoDB数据库为集群模式,则选择“是”。 若接入的MongoDB数据库为副本集模式或单节点模式,则选择“否”。 副本集 仅当“集群模式”选择“否”时需要配置。 若接入的MongoDB数据库为副本集模式,则填写副本集名称。 以接入单节点
-
数据集成普通任务 - 应用与数据集成平台 ROMA Connect
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写?
-
函数工作流 - 应用与数据集成平台 ROMA Connect
选择函数的调用方式,当前仅支持“同步”方式。 请求数据 执行函数的请求体,必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最
-
计费概述 - 应用与数据集成平台 ROMA Connect
通过阅读本文,您可以快速了解应用与数据集成平台ROMA Connect的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 旧版ROMA Connect提供包年/包月的计费模式。新版ROMA Connect提供按需计费、套餐包两种计费模式。 包年/包月是一种预付费模式,即先付费再使用,按照
-
接入Gauss100数据源 - 应用与数据集成平台 ROMA Connect
00。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写Gauss100数据库的JDBC格式连接串,格式:
-
接入DAMENG数据源 - 应用与数据集成平台 ROMA Connect
填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配
-
数据源连接测试失败排查操作 - 应用与数据集成平台 ROMA Connect
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
-
接入DM数据源 - 应用与数据集成平台 ROMA Connect
仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写DM数据库的JDBC格式连接串,例如:jdbc:dm://{hostname}:{port}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。
-
接入DWS数据源 - 应用与数据集成平台 ROMA Connect
填写DWS集群中数据库的连接IP地址和端口号。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的端口号。 数据库 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中要接入的数据库名。 是否使用JDBC字符串 选择连接数据库模式。 否:
-
接入HIVE数据源 - 应用与数据集成平台 ROMA Connect
仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写HIVE的JDBC格式连接串,例如:jdbc:hive2://{host
-
配置目标端数据信息 - 应用与数据集成平台 ROMA Connect
新数据。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DIS DWS DM Gauss100 HL7 HANA IBM MQ Kafka MySQL MongoDB MQS MRS Hive MRS
-
配置示例 - 应用与数据集成平台 ROMA Connect
} 响应消息中“id”的值即为集成应用ID,保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。此处以MySQL数据库为例进行说明,其他类型数据库请参考接口的参数说明。 请求示例: POST /v2/{project_i
-
RawFormDataResponse - 应用与数据集成平台 ROMA Connect
String 源端数据库模式,gauss100数据库使用。 source_selected_column_list 否 List<Column> 源端选择的字段名列表,关系型数据库使用。 order_column 否 String 源端排序的字段名,可为空,关系型数据库使用。 order_type
-
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? - 应用与数据集成平台 ROMA Connect
、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务