华为云首页用户手册

应用与数据集成平台 ROMA Connect-创建组合任务:前提条件

时间：2025-02-12 15:03:18

应用与数据集成平台 ROMA Connect

前提条件

已完成源端数据源和目标端数据源的接入，具体操作请参考接入数据源。
在源端数据源接入配置中，“数据库名”的大小写应与实际数据库名保持一致，否则会导致数据同步失败。
源端数据源已开启CDC功能，根据不同的数据源类型和CDC实现模式，具体操作请参考：
- 配置Oracle CDC（LogMiner）（推荐使用）
- 配置Oracle CDC（XStream）
- 配置MySQL CDC（Binlog）
- 配置SQL Server CDC
源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间，否则会造成集成任务找不到归档日志而导致增量同步失败。因此，数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。
在首次执行数据同步期间，建议不要对源端数据库做DDL操作。
如果创建组合任务个数过多，对数据库服务器、FDI插件进程均会产生资源消耗，所以建议对一个数据库，不要创建过多组合任务。
FDI支持单个CDC任务中配置多个Schema下的多个数据库表，实现统一的全量或增量采集能力。
组合任务在运行过程中支持添加表，选择重启后可对新表执行全量采集或者增量采集。
源端Oracle数据源：
- 大文本类型和二进制类型的字段不支持同步。
- 表名为小写的数据表不支持同步。
- 无主键的数据表不支持同步。
  如果表中数据较少，建议通过每天采集一次全量数据的方式进行采集，目前PostgreSQL类型表支持写入前清空数据。对于从Oracle数据库采集数据，但表中没有主键的情况，可以利用Oracle内部的RowId作为主键，RowId一般是使用数字、字母生成18位长度的字符串。
- 名称为数据库自身保留字的数据表或数据字段不支持同步。
- truncate方式删除的数据不支持同步，整表方式删除的数据不支持同步。
源端MySQL数据源：
如果MySQL数据库使用的是MGR集群模式，在接入源端数据源时，必须直接连接主节点，不能连接route节点。

如果MySQL数据库中数据量特别巨大，在首次执行数据同步时可能会连接数据库超时，可以通过修改MySQL数据库的超时参数interactive_timeout和wait_timeout来规避。