数据治理中心 DATAARTS STUDIO-DMS Kafka同步到OBS作业配置:注意事项

时间：2025-02-06 11:45:57

注意事项

除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参见下表。

表4 注意事项
类型名称	使用和操作限制
数据库限制	支持开启SASL_PLAINTEXT的Kafka实例，包括SC RAM -SHA-512及PLAIN认证机制。不支持开启SASL_SSL的Kafka实例。
使用限制	通用：实时同步过程中，不支持IP、端口、账号、密码修改。增量同步阶段：整库场景下需要根据同步的Topic分区数对应增加作业并发数，否则可能导致任务内存溢出。常见故障排查：在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。
其他限制	支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 Migration自动建表时，源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大（因为DWS目标库为字节长）。全量同步timestamp类型时，默认值中的on update current_timestamp语法将不会同步到目标库 GaussDB (DWS)中。重命名表仅支持rename后库表在同步范围中的DDL操作（例如：RENAME TABLE A TO B，B需要在同步范围内）。不建议在分库分表同步场景下的进行rename操作，可能会导致任务失败或数据不一致。