检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大规格及以上规格进行内容对比、抽样对比。 行对比的多对一场景,是将源库中的表与映射到目标库中的聚合表中对应的那部分数据做行数比对。 对于多对一同步任务场景,不建议使用内容对比,因为内容对比无法保证一致性。 不支持一个库中的表映射到多个库的任务进行内容对比。 MySQL、GaussDB(for
失败的情况。 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 针对无主键且无索引的表,非大字段的列必须大于三列,否则会因为无法全列匹配导致增量异常。 库级映射
目标数据库兼容类型检查。当数据库类型不兼容时,可能会导致数据乱码或者同步失败。 不通过原因 MySQL->GaussDB(DWS)同步场景,无主键表、空字符串迁移不支持DWS的ORA兼容模式。 MySQL->GaussDB同步场景,目标数据库不兼容MySQL。 处理建议 建议用DWS的MYSQL、TD的兼容模式或给无主键表加上主键。
失败的情况。 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 针对无主键且无索引的表,非大字段的列必须大于三列,否则会因为无法全列匹配导致增量异常。 XMLT
目标库数据不一致。 如果源库和目标库字符集不一致,如源库是GBK,目标库是UTF8,由于GBK字符集单个中文字符占用2个字节,而UTF8字符集单个中文字符占用3个字节,可能会导致CHAR或VARCHAR类型数据同步到目标库后超出字段定义长度,所以客户需要根据实际情况对目标库CHA
序,表与表之间不保序,可以提高单表读写性能,推荐使用此选项。 按主键的hash值投递到不同Partition:适用于一个表一个Topic的场景,避免该表都写到同一个分区,消费者可以并行从各分区获取数据。 对于无主键表,如果选择“按主键的hash值投递都不同的partition”策略时,同步任务则会使用默认“按库名
量重试,表数据存在少量不一致的可能性。 由于数据库引擎支持不同,MySQL中的非空约束支持空字符串,Oracle中的非空约束不支持空字符串。数据同步过程中,如果非空约束的字段出现了空字符串,建议用户在目标端Oracle中将这个非空约束删除。 在创建DRS任务之前,如果源数据库实例
据不一致的可能性。 如果源库和目标库字符集不一致,如源库是GBK,目标库是UTF8,由于GBK字符集单个中文字符占用2个字节,而UTF8字符集单个中文字符占用3个字节,可能会导致CHAR或VARCHAR类型数据同步到目标库后超出字段定义长度,所以客户需要根据实际情况对目标库CHA
据不一致的可能性。 如果源库和目标库字符集不一致,如源库是GBK,目标库是UTF8,由于GBK字符集单个中文字符占用2个字节,而UTF8字符集单个中文字符占用3个字节,可能会导致CHAR或VARCHAR类型数据同步到目标库后超出字段定义长度,所以客户需要根据实际情况对目标库CHA
目标库数据不一致。 如果源库和目标库字符集不一致,如源库是GBK,目标库是UTF8,由于GBK字符集单个中文字符占用2个字节,而UTF8字符集单个中文字符占用3个字节,可能会导致CHAR或VARCHAR类型数据同步到目标库后超出字段定义长度,所以客户需要根据实际情况对目标库CHA
目标库数据不一致。 如果源库和目标库字符集不一致,如源库是GBK,目标库是UTF8,由于GBK字符集单个中文字符占用2个字节,而UTF8字符集单个中文字符占用3个字节,可能会导致CHAR或VARCHAR类型数据同步到目标库后超出字段定义长度,所以客户需要根据实际情况对目标库CHA
全部对象迁移、表级迁移或者库级迁移。 全部迁移:将源数据库中的所有对象全部迁移至目标数据库,对象迁移到目标数据库实例后,对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移:将选择的表级对象迁移至目标数据库。 库级迁移:将选择的库级对象迁移至目标数据库。 如果有切换源数据
全部对象迁移、表级迁移或者库级迁移。 全部迁移:将源数据库中的所有对象全部迁移至目标数据库,对象迁移到目标数据库实例后,对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移:将选择的表级对象迁移至目标数据库。 库级迁移:将选择的库级对象迁移至目标数据库。 如果有切换源数据
按表的主键值hash值投递到不同的Partition:适用于一个表一个Topic的场景。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSON-C:一种能够兼容多个批量,流式计算框架的数据格式。
导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况(例如:rename A TO B),只支持rename前后库表都在已选择库表中的rename操作(A和B都在已选择库表中),其他情况的rename DDL会被过滤。 对于一个DDL中存在多个rename的情况(例如:rename
Server字符类型是使用字节数作为长度,MySQL是使用字符数作为长度且使用字符集为utf8mb4,所以字段在目标库所占字节数为n*4。 每个索引长度转成目标库字段后不得超过3072字节 总索引个数不超过64个。 总字段长度映射成目标库字段不能超过66535字节。 目标数据库对象要求:
建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,避免同步对业务造成性能影响。如果同步不可避免业务高峰期,推荐使用同步限速功能,即“流速模式”选择“限速”。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,会存在3s以内的单表级锁定。
全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB分布式版(入云) 将MySQL同步到GaussDB分布式版(自建) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB主备版(入云) 将MySQL同步到GaussDB主备版(自建)
Server字符类型是使用字节数作为长度,GaussDB(for MySQL)是使用字符数作为长度且使用字符集为utf8mb4,所以字段在目标库所占字节数为n*4。 每个索引长度转成目标库字段后不得超过3072字节 总索引个数不超过64个。 总字段长度映射成目标库字段不能超过66535字节。 目标数据库对象要求:
基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。