数据复制服务 DRS-GaussDB分布式版同步到Kafka:同步Topic和Partition策略说明

时间：2025-02-14 11:55:57

数据复制服务 DRS 实时同步

同步Topic和Partition策略说明

表3 Topic和Partition策略说明
Topic策略	对应可选的Partition策略	说明
集中投递到一个Topic：对于源库业务量不大的场景，建议选择集中投递到一个Topic。	按库名.schema.表名的hash值投递到不同Partition	适用于单表的查询场景，可以提高单表读写性能，推荐使用此选项。
	全部投递到Partition 0	适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。
	按表的主键值hash值投递到不同的Partition	适用于一个表一个Topic的场景，避免该表都写到同一个分区，消费者可以并行从各分区获取数据。
	按库名.schema的hash值投递到不同Partition	适用于一个database一个topic的场景，避免多个schema下的数据都写到一个分区，消费者可以并行从各分区获取数据。
	按库名.dn序号的hash值投递到不同Partition	适用于多个database对应一个topic，避免多个datanode下的数据都写到一个分区，消费者可以并行从各分区获取数据。
	按表的非主键列值的hash值投递到不同的Partition	适用于一个表一个Topic的场景，避免该表都写到同一个分区，用户可以按照非主键列值的hash值自定义message key，消费者可以并行从各分区获取数据。
按库名-schema-表名自动生成Topic名字：如果每张表数据量都非常大，建议选择自动生成Topic名字，按库名-schema-表名确定一个Topic。	全部投递到Partition 0	适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。
	按表的主键值hash值投递到不同的Partition	适用于一个表一个Topic的场景，避免该表都写到同一个分区，消费者可以并行从各分区获取数据。
	按表的非主键列值的hash值投递到不同的Partition	适用于一个表一个Topic的场景，避免该表都写到同一个分区，用户可以按照非主键列值的hash值自定义message key，消费者可以并行从各分区获取数据。
按库名自动生成Topic名字：对于源库数据量量不大的场景，可以选择一个database自动生成Topic名字，按库名确定一个Topic。	按库名.schema.表名的hash值投递到不同Partition	适用于单表的查询场景，可以提高单表读写性能，推荐使用此选项。
	全部投递到Partition 0	适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。
	按库名.schema的hash值投递到不同Partition	适用于一个database一个topic的场景，避免多个schema下的数据写到一个分区，消费者可以并行从各分区获取数据。
	按库名.dn序号的hash值投递到不同Partition	适用于一个database对应一个topic，避免多个dn上的数据写到一个分区，消费者可以并行从各分区获取数据。
按库名-schema自动生成Topic名字：如果每个schema数据量都非常大，建议选择按库名-schema自动生成Topic名字，按库名-schema确定一个Topic。	按库名.schema.表名的hash值投递到不同Partition	适用于单表的查询场景，可以提高单表读写性能，推荐使用此选项。
	全部投递到Partition 0	适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。
按库名-dn序号自动生成Topic名字：如果每个dn上数据量很大，建议选择按库名-dn序号自动生成Topic名字，按库名-dn序号确定一个Topic。	按库名.schema.表名的hash值投递到不同Partition	适用于单表的查询场景，可以提高单表读写性能，推荐使用此选项。
	按库名.schema的hash值投递到不同Partition	适用于一个database一个topic的场景，避免多个schema下的数据都写到一个分区，消费者可以并行从各分区获取数据。
	全部投递到Partition 0	适用于有事务要求的场景，写入性能比较差，如果没有强事务要求，不推荐使用此选项。