检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当状态变更为“增量同步”,表示同步任务已启动。 当前示例中GaussDB主备到Kafka选择单增量同步,任务启动后为增量同步状态。 如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 确认同步任务执行结果
not exist” 全量同步失败报错,关键词“relation *** does not exist” 全量同步失败报错,关键词“GC overhead limit exceeded” 全量同步失败报错,关键词“Java heap space” 全量同步失败报错,关键词“column
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL增量同步到Kafka的主要任务流程如图1所示。 图1 流程图 父主题: RDS for MySQL同步到Kafka
支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 同步对象选择维度:支持选择库级。 支持的同步对象:
双向同步任务倒换 双向同步中,为了防止DDL回环,只有正向任务支持DDL,反向不支持DDL。针对该特点,DRS提供修改任务方向功能,用户可使用此功能调换任务角色,实现反向的DDL。 约束限制 仅支持双向同步任务进行方向转换。 正向、反向任务均为暂停状态时,才能进行方向转换。 方向转换后,需要续传任务使转换生效。
“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用和操作约定 同步范围须知 不支持实例级同步:不支持实例级别同步,每次至多同步一个库(database),同步多个库需要使用多个DRS任务。 支持场景:支持全量同步、增量同步、全量+增量同步。 支持的字段:
在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 同步范围 同步范围须知 不支持实例级同步:不支持实例级别同步,每次至多同步一个库(database),同步多个库需要使用多个DRS任务。 支持场景:支持全量同步、增量同步、全量+增量同步。 支持的字段:IN
场景。 全量同步阶段: 对于全量同步中的目标数据库表对象,不能进行写入操作,否则会导致数据不一致。 全量同步分为表结构同步(含索引)、数据同步两个阶段,任务中只要有一个表的结构在目标库中创建成功即进入数据同步阶段。如果同步完成产生失败表,再启动时将只同步数据,不同步表结构信息,用户必须手动在目标库中建表。
支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 同步对象选择维度:仅支持全部同步。 支持的同步对象:
用该方式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、库级同步和导入对象文件,您可以根据业务场景选择对应的数据进行同步。 选择库级同步:全量同步时,同步对象为所选的库、库中对象的存量数据;增量同步时,同步除了无日志表、临时表外的所有表的DML及部分DDL。
您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 全量同步对象类型 全量同步对象类型,可选同步表结构、同步数据,根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
单击“下一步”进入迁移验证页面,单击“启动”开始迁移索引。 确保索引全部迁移成功。 不要单击右下角的“完成”按钮,后续还有其他对象要迁移。 父主题: 启动同步
在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 同步范围 同步范围须知 不支持实例级同步:不支持实例级别同步,每次至多同步一个库(database),同步多个库需要使用多个DRS任务。 支持场景:支持全量同步、增量同步、全量+增量同步。 支持的字段:IN
在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 同步范围 同步范围须知 不支持实例级同步:不支持实例级别同步,每次至多同步一个库(database),同步多个库需要使用多个DRS任务。 支持场景:支持全量同步、增量同步、全量+增量同步。 支持的字段:IN
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。
执行如下语句,查询同步任务选择的database对象所对应的流复制槽名称。 select slot_name from pg_replication_slots where database = 'database'; 其中database为DRS同步任务中选择同步的database。
具体请参考 DRS增量同步怎样填启动位点 数据同步拓扑 数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考数据同步拓扑介绍。 增量支持DDL 选择增量同步的DDL类型,用户根据需求可选择“默认值”或“自定义”。 “默认值”: 库级同步情况下,Binl
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。
使用。 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查 表3 支持的同步对象 类型名称 使用须知 同步对象范围 不支持实例级同步 每次至多同步一个库(data
目前仅支持白名单用户使用。 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用和操作约定 同步范围须知 不支持实例级同步:不支持实例级别同步,每次至