检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DRS发送Kafka消息序列化方式是什么 DRS发送到Kafka的数据,key序列化器是org.apache.kafka.common.serialization.StringSerializer,value序列化器是org.apache.kafka.common.serialization
GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源任务暂不支持同步序列值,如果同步的表中存在关联的序列,需要在任务结束后,参考以下内容手动同步序列值。 操作步骤 使用DRS同步任务测试连接时的用户登录GaussDB分布式版实例。 执行如下语句,查询库中具有管理序列的表及其关联的序列。
PostgreSQL为源强制结束任务 本小节介绍PostgreSQL为源的同步链路在强制结束任务后,如何清理源库逻辑复制槽、如何同步序列值以及如何在源数据库已经无法连接的情况下,重置目标库中自增或自减列关联序列的序列值。 复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node id中的“-”替换为“_”获取,node
将自动重置目标库序列值(自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000),若选择了同步用户,任务结束时将自动同步用户的成员关系。 全量实时同步任务结束时会对序列值进行比对,序列值采用逻辑一致性的判断原则,即自增序列当且仅当目标库对应序列值大于等
多对一的场景约束及操作建议 因业务需要,不同实例、不同表的数据需要进行合并时,数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。
”。 图2 操作类型 多对一映射场景下,需要使用数据加工的附加列操作来避免数据冲突。 支持的操作类型有以下几种 “默认值”:使用输入的默认值填充新加的列。 “以create_time为列”和“以update_time为列”操作会分别使用数据产生时间和修改时间填充新加的列。 “表达
按需计费任务按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以DRS任务启动的时间点为准,终点以结束时间为准。 DRS任务从创建到启动需要一定时长,计费的起点是启动的时间点,而非创建时间。您可以在DRS任务详情页“基本信息”页签查看这两个时间。 例如,您在8:40:
修改消费时间点 数据复制服务支持在消费的过程中,随时修改消费时间点,修改的时间点必须在订阅任务的时间范围内。一旦修改完消费时间点,那么下游SDK拉取到的增量数据从修改后的消费时间点开始。 本章节将详细介绍通过数据复制服务管理控制台修改消费时间点的操作步骤。 约束限制 数据订阅任务已启动且任务为“正常”状态。
将自动重置目标库序列值(自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000),若选择了同步用户,任务结束时将自动同步用户的成员关系。 全量实时同步任务结束时会对序列值进行比对,序列值采用逻辑一致性的判断原则,即自增序列当且仅当目标库对应序列值大于等
任务正常结束 结束时将自动删除任务在源库创建的流复制槽。 结束任务时,如果目标库同步表中已关联序列,DRS将自动重置目标库序列值。重置的自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000。 任务强制结束 强制结束同步任务,需要手动删除源库可
DDL在源库执行时间。 ddl_text String DDL内容。 exe_result Boolean DDL执行结果。false执行失败,true执行成功。 record_time Long 数据记录时间。 clean_time Long DDL告警清理时间。 状态码: 400
任务正常结束 结束时将自动删除任务在源库创建的流复制槽。 结束任务时,如果目标库同步表中已关联序列,DRS将自动重置目标库序列值。重置的自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000。 任务强制结束 强制结束同步任务,需要手动删除源库可
任务正常结束 结束时将自动删除任务在源库创建的流复制槽。 结束任务时,如果目标库同步表中已关联序列,DRS将自动重置目标库序列值。重置的自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000。 任务强制结束 强制结束同步任务,需要手动删除源库可
未启动任务计费说明 DRS任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。DRS任务是从启动开始计费,当用户选择“稍后启动”时,在设置的启动时间之前DRS不会收取费用。 父主题: 计费相关
时延监控:展示RPO、RTO的历史数据轨迹,对真实灾难将发生时的数据丢失量具有一定的预测意义。可重点关注以下两种类型数据: 长时间RPO、RTO高的时间段。 规律性RPO、RTO高的时间段。 自治监控:展示DRS的智能自制能力,主要包括: 网络断连时,DRS自动重连并断点续传的次数。
源库CDC数据保留时间是否足够 检查Microsoft SQL Server源库CDC数据保留时间是否足够。源数据库CDC数据保留时间不足1天,会导致增量同步异常。请修改为1440分钟(1天)或以上,建议4320分钟(3天)。 不通过原因 源库CDC数据保留时间太短,不足1天,会导致增量同步异常。
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB主备版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
任务正常结束 结束时将自动删除任务在源库创建的流复制槽。 结束任务时,如果目标库同步表中已关联序列,DRS将自动重置目标库序列值。重置的自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000。 任务强制结束 强制结束同步任务,需要手动删除源库可
mmit时间,13位Unix时间戳,单位为毫秒。 Oracle:这一条记录的commit时间,13位Unix时间戳,单位为毫秒。 Microsoft SQL Server:这一条记录的commit时间,13位Unix时间戳,单位为毫秒。 ts 写入到目标kafka的时间,13位Unix时间戳,单位为毫秒。
数据复制服务是否支持某个时间段的数据复制 数据复制服务目前只支持全量、全量+增量的迁移场景。 父主题: 产品咨询