检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析失败,提示OBS连接失败 操作场景 客户创建入云录制回放任务时,通过AK/SK获取OBS桶内流量文件,任务解析流量文件失败,提示OBS连接失败。 图1 解析失败 问题分析 针对该情况分析,可能存在如下原因。 AK、SK、桶名或终端节点等信息填写错误。 没有对应OBS桶文件的读取权限。
源数据库是否具有日志解析权限 Oracle为源增量同步时,DRS会对源数据库连接用户权限进行检查。源数据库连接用户不具有日志解析权限,会导致增量迁移失败。 不通过原因 源数据库用户不具有EXECUTE_CATALOG_ROLE角色。 源数据库用户不具有日志解析权限。 处理建议 建
不勾选解析重置:重置任务不重新解析流量文件,把任务之前解析流量文件得到的内容重新回放到目标库。 勾选解析重置:将清空任务所有解析流量文件得到的内容,重新开始解析流量文件,并将解析流量文件得到的内容重新回放到目标库。 等待预检查通过后,单击“开始重置”,重置任务。 父主题: 任务生命周期
IP具有更强的容错性,更好的负载能力,更快的同步体验。 如果需要使用SCAN IP,需要保证SCAN IP与源库的所有VIP互通,否则无法通过测试连接检查。 若不使用SCAN IP,可以使用某一节点的VIP,其他节点异常不影响同步。 关于SCAN IP的说明,可参考Oracle官网文档。 父主题: 实时同步
DICTIONARY权限(当目标库为PostgreSQL时,还需要SELECT ANY SEQUENCE权限),源数据库为Oracle的增量迁移还需要日志解析权限。本小节主要介绍如何使用DRS设置最小化权限且独立的Oracle账号的具体操作。 全量迁移模式。 创建一个用户用于迁移,此处以User1为例。
结束回放任务 录制回放完成后,可选择结束回放任务。如下状态下的任务可以结束: 创建中 配置 等待启动 启动中 启动失败 解析中 回放中 回放失败 回放完成 对于“配置”状态的任务,配置失败的任务无法结束。 任务结束后无法重新启动。 操作步骤 在“录制回放管理”页面的任务列表中,选择要结束的任务,单击“结束”。
基本概念 VPC网络 基于虚拟私有云(Virtual Private Cloud,简称VPC)网络的数据迁移是指实时迁移场景下,源数据库与目标数据库属于同一个虚拟网络内或者跨可通信虚拟网络内,不需要您额外搭建其他网络服务。 VPN网络 基于虚拟专用网络(Virtual Private
Avro格式 Avro格式的schema定义详情请参见record.rar。在实时同步到Kafka集群后,您需要根据schema定义进行数据解析。 JSON格式 MySQL、GaussDB(MySQL)到Kafka的JSON格式定义详情参考表2,DDS到Kafka的JSON格式定义
物理复制库检查 Oracle为源的增量链路,DRS会检查源数据库是否是物理复制库。 待确认原因 源库为物理备库,物理备库不支持解析LOB字段。 PHYSICAL STANDBY模式下日志从主库直接复制,自身不产生任何日志,请检查主库补全日志是否符合增量同步要求。 处理建议 请修改
IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
对于DRS的增量或者全量+增量任务,不支持部分他云只读实例的备库做源库进行数据迁移。DRS增量迁移是通过读取源数据库的原始增量日志数据(例如MySQL的Binlog)后解析转换进行 。 以MySQL的Binlog为例,部分他云只读MySQL备库的Binlog并不完整,会导致DRS无法进行增量数据同步。用户可使
决问题后,可以通过续传功能继续进行回放。 对于以下状态的任务,可以通过续传功能继续进行回放。 任务失败 已暂停 如果因为非网络原因导致任务解析失败,系统默认进行三次自动续传,若三次续传后仍无法恢复,可手动进行续传。 如果因为网络原因导致的任务失败,系统自动续传,直到任务恢复。 前提条件
DRS支持断点续传吗 针对数据库的迁移、同步场景,在迁移、同步过程中由于不可抗拒因素(例如网络波动)导致的任务失败,DRS通过记录当前解析和回放的位点(该位点同时也是数据库内部一致性的依据),下次从该位点开始回放的方式来实现断点续传,以确保数据的完整性。 增量阶段的迁移、同步,D
为什么实时灾备任务不支持触发器(TRIGGER)和事件(EVENT) 数据库的触发器(TRIGGER)和事件(EVENT)操作会记录binlog,DRS通过解析binlog同步数据,如果业务侧写入与触发器、事件存在同样对象,就会发生重复执行导致数据不一致或者任务失败,所以在灾备场景下,触发器和事件是不支持的。
迁移至目标端数据库。 增量模式:该模式通过解析日志等技术,将源端产生的增量数据持续迁移至目标端数据库。 全量+增量模式:该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程完成目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将源端持续迁移至目标端数据库,保持数据一致。
效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。 回放数据到目标库时,对要回放的数据打上特殊标记,这个标记会记录到数据库日志中。
IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
迁移方案概览 由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。