检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了1,2,5三个batch的确认,因为客户端确认消息也是严格有序的,那么认为客户端已经消费到了1-5的消息,若客户端程序挂掉了,那么消费位点会从5的batch size开始。 SDK使用模板 import com.huawei.hwclouds.drs.context.SubscribeContext;
致的可能性。 支持断点续传功能,在主机系统崩溃的情况下,对于非事务性的无主键的表可能会出现重复插入数据的情况。 源数据库中存在主键或唯一键重复的数据时,直接同步将导致目标库数据比源库少,请务必检查并订正数据后启动同步。 源数据库如果存在非标浮点类型,且非标浮点类型存在宽松模式可以
如果专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 数据类型不兼容时,可能引起同步失败。 源库如果存在非标浮点类型,且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据,同步过程可能会有数据不一致的风险。 对于表中的物理生成列,如果列是根据一个时间类
IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
继续进行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。
致的可能性。 支持断点续传功能,在主机系统崩溃的情况下,对于非事务性的无主键的表可能会出现重复插入数据的情况。 源数据库中存在主键或唯一键重复的数据时,直接同步将导致目标库数据比源库少,请务必检查并订正数据后启动同步。 源数据库如果存在非标浮点类型,且非标浮点类型存在宽松模式可以
如果单独对灾备数据库进行数据修改操作,可能会导致对比结果不一致。 如果业务数据库字符类型存在编码异常的情况,通过DRS灾备或对比时会因数据库驱动转码转换为异常码点,最终可能导致内容对比一致,实际字节不一致。 内容对比功能目前只支持带有主键的表,对于不支持内容对比的表可以使用行数对比功能。所以数据级对比
查询返回记录的数量限制。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。
继续进行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。
INVISIBLE */, PRIMARY KEY (`id`)); 源数据库要求 源数据库必须为GaussDB(for MySQL)主备实例的主节点。 增量同步时,源数据库的binlog日志必须打开,且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下,建议源数据库binlog保存时间越长越好,建议为3天。
String 任务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。
继续进行同步,提高同步任务的可靠性。适用于业务数据量较大,需要长期同步,并对中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。
IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 全量+增量任务场景,不支持直接连PD
后,映射到目标库中的库名、表名如果存在非成对{},可能导致表结构同步失败。 不支持分区表的分区字段进行列映射。 源库如果存在非标浮点类型,且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据,同步过程可能会有数据不一致的风险。 若源库表开启了TDE透明数据加密,目标库也需
不支持GaussDB(DWS)的无主键复制表,如果需要同步的表在GaussDB(DWS)为无主键复制表,会导致任务失败。 全量+增量任务不支持带XML字段的无主键表。 浮点数类型作为主键时,增量同步可能会导致数据不一致。 源库单个schema的同步对象数量不能超过32766。 源库索引名超过63个字符时,目标数据库回放时将自动命名该索引。
会调用pg_logical_emit_message在源库WAL日志中插入心跳信息(只会增加WAL日志,业务无感知),用于保证逻辑复制槽位点正常推进。 注意事项 为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条件进
迁移中,目标数据库可以读写,但需要避免操作或接入应用后会更改迁移中的数据(注意:无业务的程序常常也有微量的数据操作),进而形成数据冲突、任务故障、且无法修复续传,充分了解要点后可选择此选项。如果目标库有其他数据库需要在迁移时被业务使用,可设置该选项为读写。 任务创建后不能修改。 迁移模式 全量:该模式为数据库一次
IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 由于Oracle与MySQL的部分语
创建多个partition,越多的partition可以提供更高的吞吐量,越多的partition会消耗更多的资源,建议根据broker节点的实际情况来设置partition的数量。 副本个数 同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的副本数。每个