检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
目前仅支持VPC网络。 SDK运行原理 SDK的拉取和确认消息是两个异步的线程,拉取按照事务顺序拉取,两个线程分别独立并且遵循因果序。拉取到的消息会顺序的调用用户注册的notify函数,SDK保证每一条消息会推送一次,且只有一次。 导入SDK的jar包 SDK的jar包使用beta版本只支持通
异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。 回放任务提交后,您可在“录制回放管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。
100% 设置录制回放任务在相同时间内回放SQL的总量与源库执行SQL总量的比值。 单击“目标库信息”处的“测试连接”,测试并确定与目标库连通后,单击“下一步”。 在“预检查”页面,进行回放任务预校验,校验是否可进行。 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
故障恢复的能力。在源数据库的数据未损坏或丢失的前提下,DRS实例可以从最近停止的点开始,继续进行数据复制。若实例底层的资源出现故障,则迁移至AZ内新的实例,并断点续传。DRS也提供了跨AZ高可用的能力,对于跨AZ高可用的实例,当主AZ的实例出现故障时,可以倒换至备AZ的实例,继续提供数据复制服务。
编辑连接信息 连接信息创建成功后,DRS支持再次编辑修改,可修改的任务信息如下: 任务名称 描述 数据库IP 数据库端口 数据库用户名 数据库密码 操作步骤 在“连接信息管理”页面的列表中,选择要修改的任务,单击操作列“编辑”按钮。 在“编辑连接信息”页面,修改数据库信息后,单击“保存并返回”。
为什么迁移前后数据库磁盘空间使用量不一致 可能原因 原因1:DRS在全量迁移阶段,为了保证迁移性能和传输的稳定性,采用了行级并行的迁移方式。当源数据库数据紧凑的情况下,通过DRS迁移到上云后,可能会出现数据膨胀现象,导致目标数据库磁盘空间使用量大于源数据库磁盘空间使用量。 并行时顺序插入原理可参考图1。
MyISAM对数据完整性的保护存在缺陷,且这些缺陷会导致数据库数据的损坏甚至丢失。 MyISAM在出现数据损害情况下,很多都需要手动修复,无法通过产品服务提供的恢复功能进行数据恢复。 MyISAM向InnoDB的迁移透明,大多数情况不需要改动建表的代码,云数据库自动转换InnoDB即可完成迁移。
检查,需要用户自行确认是否涉及。 待确认原因 待迁移的表中以字符串为主键或唯一键的列不包含空格,由于源数据库的字符串作为主键、唯一键时区分空格,而目标数据库不区分,所以有可能导致数据不一致或迁移失败。 由于源数据库和目标数据库的差异,number、int、float、double
不通过原因 目标数据库磁盘空间不足,目标数据库磁盘建议大小取以下两种中的最小值: 源库待迁移数据大小的1.5或者2.5倍。 源库待迁移数数据大小加200GB。 具体所需的目标数据库磁盘可用空间以界面提示为准。 处理建议 如果预检查失败,建议扩容目标数据库或清理目标数据库后,重新进行预检查。
数据复制服务 DRS 数据管理服务 DAS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。
后,数据复制服务会自动删除这两个账户。 禁止使用用户自建的drsFull和drsIncrementa账号作为DRS任务连接数据库的账号。 删除、重命名和修改这些账户的密码和权限,会导致任务出错。 表1 MySQL实例创建的数据库账户 账户 使用场景 Host 说明 drsFull
迁移实例公网弹性IP 以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在安全允许的情况下,可以将源数据库MongoDB实例的网络白名单设置为0.0.0.0/0,代表允许任何IP地址访问该实例。 上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。 目标数据库安全组规则设置:
10000 规格的线上运行性能受网络环境、灾备数据库和业务数据库的性能、延迟等因素影响,实际的性能值会有差异,表中性能上限值仅供参考。 DRS规格:DRS为用户提供的不同性能的链路规格,以灾备初始化(不限速)和灾备性能为衡量标准。 性能上限(行/秒):表示每秒同步的事务数,包括BEGIN、COMMIT
DRS暂不支持DB2 for LUW迁移到PostgreSQL,目前仅支持DB2 for LUW到GaussDB的实时同步场景。DRS支持的源数据库和目标数据库类型请参见支持的数据库。 父主题: 产品咨询
目标库sql_mode中no_engine值检查 MySQL迁移时,迁移的对象中包含引擎为MyISAM的表时,目标数据库sql_mode不能包含no_engine_substitution参数,否则可能会导致迁移失败。 不通过原因 目标数据库含有no_engine_substitution参数。
Microsoft SQL Server 2022 企业版、标准版、Web版 支持的备份迁移场景 表4 迁移场景信息 迁移场景类型 描述 OBS自建桶 需要确认自建的OBS桶所在的区域和目标数据库实例所在的区域相同。 RDS全量备份 需要确认关系型数据库实例是否已经有全量备份记录。 父主题:
适合通过专线网络,实现其他云下自建数据库与云上数据库录制回放、或云上跨区域的数据库之间的录制回放。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合其他云下或其他平台的数据库到目标数据库的录制回放。 为了确保源数据库和目标数据库之间的网络互通,源数
GaussDB 分布式版->GaussDB 集中式版 操作步骤 在“实时同步管理”界面,选择指定的同步任务,单击任务名称。 在“异常数据”页签,您可以通过时间段筛选查看当前同步任务的异常数据,包括执行语句和异常描述等信息。
触发回放,观察目标数据库的性能表现。 常用场景: 数据库搬迁前,通过录制回放可以提前得知源业务在目标数据库的运行效果。 通过控制录制回放的线程及回放速度,来模拟源业务流量放大的效果,从而分析目标数据库对于未来业务激增时的稳定性表现。 图1 录制回放 支持的数据库类型 目前,DRS录制回放支持的数据库类型,如下表所示。