检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java SDK使用指导 Python huaweicloud-sdk-python-v3 Python SDK使用指导 Go huaweicloud-sdk-go-v3 Go SDK使用指导
主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取记录 添加记录 更新记录 删除记录 配置参数 表1 获取记录
虚拟机:与之前机器相同规格且相同架构的Linux机器。 工具:需要安装Docker、NTP、Haveged服务,Docker安装请参考安装Docker,NTP配置请参考时间同步,Haveged的安装请参考安装Haveged。浏览器用于登录华为云控制台,要求Google Chrome
API。 前提条件 已获取API的调用信息,具体请参见开发准备。 已安装开发工具和Go开发语言环境,具体请参见开发准备。 已在IntelliJ IDEA中安装Go插件,如果未安装,请按照图1所示安装。 图1 安装Go插件 获取SDK 旧版界面:登录ROMA Connect实例控制台,在“服务集成
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
填写数据库的端口。 数据库 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。 POSTGRESQL数据库的JDBC格式连接串,格式:jdbc:postgresql://host:port/dbname。 host为数据库的连接地址。
selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss2
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
响应消息中“id”的值即为集成应用ID,保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。此处以MySQL数据库为例进行说明,其他类型数据库请参考接口的参数说明。 请求示例: POST /v2/{project_id}/fdi/instan
源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。 DWS 返回页首 任务的“集成模式”为“定时”时,可以选择DWS(数据仓库服务)作为源端数据源。 在创建任务页面中配置源端信息。 表5 源端DWS信息
填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间,单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串,例如:j
本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。
Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端)
“密码”信息。 准备开发环境 安装开发工具 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ IDEA官方网站下载。 安装开发语言环境 安装1.8.111或以上版本的Java Development Kit,安装包请至Oracle官方下载页面下载。
和关系详情,可以修改类名称,添加类中的属性和添加依赖关系。 若不选父架构,用户可以依据具体业务场景,构建对应的业务架构。 表1 配置模型 配置项 配置说明 架构名称 架构名称,用户自定义。 架构类型 选择业务架构/技术架构 架构编码 架构编码,用户自定义,例如:AAA_BB_MODEL。
} 目标端为ArtemisMQ的配置与ActiveMQ的类似,配置示例可参考ActiveMQ配置示例。 DB2 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择DB2作为目标端数据源,具体配置如下。 表4 目标端DB2信息 参数 配置说明 目标端表 选择待集成数据要写
最小长度:2 最大长度:512 请求示例 修改指定数据集成普通任务,修改源端和目标端配置 { "task" : { "task_name" : "fdi_task_v2mysql-tomysql", "task_type" : "TIMING", "source_datasource_id"