检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect对数据源的读写请求,通过调用连接器开放标准的RESTful接口完成。 在完成连接器的开发和部署后,您需要在ROMA Connect上创建连接器,定义连接器的对接参数。 操作步骤 登录ROMA Connect控制台,在左侧的导航栏选择“资产管理”。 单击页面右上角的“创建连接器”。
String 后端API为签名认证时绑定的签名密钥编号 最小长度:1 最大长度:64 roma_app_id String 后端API归属的集成应用编号 更新后端API时,status=4为后端API的已部署状态,该状态下后端API归属的集成应用编号不能修改。 最小长度:1 最大长度:65
FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型
ROMA Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ
在页面中配置数据源的连接信息,如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。
步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,提高了数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中,或者源端多个数据表中的字段可以映射到目标端的一个数据表中。
MA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 若SQL Server数据库为主从模式,不支持使用SQL Server从库。 不支持采集二进制类型的字段,例如:BINARY,VARBINARY,IMAGE。
指从源端获取到的JSON或XML格式数据中,元数据集上层公共字段的路径。此处不设置。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 指从源端获取到的JSON或X
数据根字段不设置 元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
prepareValue) 执行SQL语句、存储过程或NOSQL查询语句 输入参数 prepareValue:仅在SQL语句中生效,用于替换SQL语句中的"?"参数,可以防止SQL注入。 返回信息 返回语句执行结果 父主题: 自定义后端开发(函数后端)
触发器 Open API FTP ActiveMQ Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
)获取RealtimeConnector.rar包。 用户程序向MQS写入消息的TPS不能超过6000/s。 操作步骤 创建SpringBoot模板工程,在Main方法中启动对实时数据源的消费,对消费的数据使用MQS SDK生产到MQS中。 示例代码: @SpringBootApplication
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:1 最大长度:64 instance_id 是 String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 请求参数
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:1 最大长度:64 instance_id 是 String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 mapping_id
介绍如何通过ROMA Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 搭建企业业务开放中台 介绍如何通过服务集成的API级联能力,把子公司A和子公司B
String 后端API为签名认证时绑定的签名密钥编号 最小长度:1 最大长度:64 roma_app_id String 后端API归属的集成应用编号 更新后端API时,status=4为后端API的已部署状态,该状态下后端API归属的集成应用编号不能修改。 最小长度:1 最大长度:65
可选参数的使用 数据API中使用中括号[]标记可选参数,例如以下SQL执行语句: select * from table01 where id=${id} [or sex='${sex}'] 用[]括起来的那部分语句,表示当后端服务请求中携带参数${sex}时候,才会生效;不带参