检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
Hive MRS 3.*.* MRS Kafka MRS 3.*.* MySQL 5.7、8.0 OBS 3 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11 RabbitMQ 3.6.10 RocketMQ 4.8.0 Redis
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
“密码”信息。 准备开发环境 安装开发工具 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ IDEA官方网站下载。 安装开发语言环境 安装1.8.111或以上版本的Java Development Kit,安装包请至Oracle官方下载页面下载。
MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。 DWS 返回页首 任务的“集成模式”为“定时”时,可以选择DWS(数据仓库服务)作为源端数据源。 在创建任务页面中配置源端信息。 表5 源端DWS信息
最小长度:2 最大长度:512 请求示例 修改指定数据集成普通任务,修改源端和目标端配置 { "task" : { "task_name" : "fdi_task_v2mysql-tomysql", "task_type" : "TIMING", "source_datasource_id"
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。
} 目标端为ArtemisMQ的配置与ActiveMQ的类似,配置示例可参考ActiveMQ配置示例。 DB2 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择DB2作为目标端数据源,具体配置如下。 表4 目标端DB2信息 参数 配置说明 目标端表 选择待集成数据要写
* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ
最小长度:2 最大长度:512 请求示例 创建一个数据集成普通任务,任务类型为定时,手动配置映射 { "task" : { "task_name" : "fdi_task_v2mysql-tomysql", "task_type" : "TIMING", "source_datasource_id"
取SDK,参考API调用示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 旧版界面:登录ROMA
Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
在左侧导航栏选择“组合应用”,在组合应用页面找到要添加变量配置的组合应用。 单击组合应用上的“”,选择“编辑”,进入组合应用的编辑界面。 单击页面正上方的“变量配置”。 在变量配置弹窗中单击“添加”,添加变量。 表2 配置变量 参数 说明 变量名 填写变量的名称,后续将通过变量名称进行引用。 配置类型 选择变量的数据
取SDK,参考API调用示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 旧版界面:登录ROMA
"fdi_ds_mysql", "datasource_type" : "MYSQL", "content" : { "host" : "10.10.10.10", "port" : "3306", "database_name" : "romatest"