数据复制服务 DRS-将Oracle同步到GaussDB(DWS):注意事项

时间:2024-11-26 14:45:24

注意事项

为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外,您还需要注意的事情参见表4

表4 注意事项

类型名称

使用和操作限制

源数据库限制

不支持选择源数据库的空库进行同步。

使用限制

通用:

  • 不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
  • 禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
  • 不支持LOB类型的rollback操作,否则会导致同步任务失败。
  • 不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。

全量同步阶段:

  • 全量阶段不支持bfile、sdo_geometry、urowid、interval(精度大于6位)和自定义类型。
  • DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。
  • 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,可能无法同步到目标库或者在目标库执行失败。

增量同步阶段:

  • 增量阶段不支持bfile、interval、sdo_geometry、urowid、timestamp(精度大于6位)和自定义类型。
  • 增量阶段不支持Oracle字符集扩展的字符,标准字符集无法解析Oracle自定义扩展字符。
  • 增量同步不支持Oracle上的分布式事务(XA事务)和PARALLEL DML。
  • 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
  • 增量同步时,不建议选择混合分区表,因为混合分区表中的外部分区数据变更不产生DML日志,DRS增量数据同步无法获取变更信息,会存在数据不一致的风险。
  • 增量同步时,增量解析时间类型仅支持在Oracle时间类型合法范围内的数据,超范围的数据可能导致任务异常,例如年份大于9999时会出现数据截断。
  • 增量同步过程中,支持部分DDL操作。异构数据库DDL转换需要分析语义,考虑语法兼容性,无法做到完美转换,所以目前仅支持部分DDL操作,仅在转换成功并在以下范围内时会进行同步。如果出现其余情况的DDL同步导致的任务异常,需要手动在目标库执行相应的DDL来规避。
    • 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。

常见故障排查:

  • 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。

其他限制

  • 对于TIMESTAMP WITH TIME ZONE类型,根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。
  • 仅支持to_date和sys_guid函数作为默认值,将其他函数作为默认值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,会出现以下情况:
    • 默认值函数会被置空。
    • 创建表失败,导致任务失败。
    • 增量同步的DDL如果包含目标数据库不存在的系统函数,会导致同步任务失败。
  • 如果表中只有LOB字段,可能出现数据不一致性或任务失败的情况。
  • 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
  • 针对无主键且无索引的表,非大字段的列必须大于三列,否则会因为无法全列匹配导致增量异常。
  • 不支持默认值含有表达式的函数的表的同步。
  • 不支持同步源库中的临时表。
  • 不支持同步源库表中的虚拟列。
  • 不支持同步既是无主键表,又是分区表的自建表,可能会导致任务失败。
  • 选择手动创建表结构时,目标库中的时间类型是否带有时区需要与源库中保持一致,否则可能会因为时区转换导致时间数据不一致。
  • 源数据库Oracle中的物化视图同步到目标数据库会被转化为普通表。
  • 目标数据库实例必须有足够的磁盘空间。
  • 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
  • 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。
  • 表等对象名同步到目标库后会转换成小写,如ABC会转换为abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,可能会导致同步失败。
  • 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
  • 当使用PDB数据库同步时,由于Oracle LogMiner组件的限制,增量同步时必须打开全部PDB。
  • Oralce 12.2及以上版本,由于Oracle LogMiner组件的限制,增量同步不支持表名或列名超过30个字符。
  • 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。
  • 索引同步只同步普通索引,主键等约束在表结构中进行同步。
  • 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。
  • Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
  • Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
  • 对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。
  • 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
  • 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
  • 如果源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。
  • 使用DRS同步表结构的场景下,同一个schema中,同步的表中,表、约束、索引等不能有忽略大小写后的同名对象,比如表"A"中有索引名"inx1", 表B中有索引名"a",表A和索引"a"忽略大小写重名了,会导致结构同步失败。多个schema映射到一个schema的场景,源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。
  • 支持源端多张表对 GaussDB (DWS)一张表的映射。详细操作可参考创建Oracle到GaussDB(DWS)同步任务
  • 全量+增量或单增量任务场景,不支持直接连PDB数据库,用户需要提供CDB的Service Name/SID、用户名和密码。
  • 库级映射和表级映射均不区分大小写,例如映射为abc与映射为ABC,同步到目标库后均为abc。
  • lob类型及扩展字符类型(字节长度超过4000)不建议作为增量数据过滤条件,Oracle日志中可能出现不记录update旧值的情况。
  • 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
  • 在源数据库Oracle附加日志级别不为all的场景下,如果源数据库增量update操作的数据在目标库不存在,即使冲突策略选的是覆盖,也无法将源数据库完整数据写入目标库。如果要将数据写入目标库,需要源数据库附加日志级别设置为all。
  • Oracle更新唯一约束列且命中多行时可能出现互相冲突,极端场景下可能造成数据不一致。
  • XMLTYPE类型在Oracle内部存储方式为CLOB或BLOB,使用限制同CLOB和BLOB一致。
  • 仅Oracle 11g及以上版本支持XMLTYPE类型同步。
support.huaweicloud.com/realtimesyn-drs/drs_04_0114.html