检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL实例,通过DRS将源端数据迁移至目标端,并在手动结束增量同步任务前持续同步源端数据。整体的部署架构可参考图1。 图1 方案架构 方案优势 采用全量+增量的迁移方式,保证数据迁移过程中业务不中断,数据不丢失。 通过服务化迁移,免去了传统的DBA人力成本和硬件成本,并允许按需购买,减低迁移成本。 仅需分钟
数据复制服务支持“按需计费”和“包年/包月”两种计费模式,两种方式均针对DRS实例从以下方面收取费用: 表1 计费项 计费项 计费项说明 计费规则 配置费(必选) 指计算和存储资源及数据处理的费用。 “按需计费”配置费用是按照实际使用时长计费,以自然小时为单位整点计费,不足一小时按照实际使用时长计费。
DRS使用统一身份认证服务(IAM)进行精细的权限管理,IAM提供身份认证、权限分配、访问控制等功能,给不同的用户组授予不同的权限,并采用细粒度的鉴权方式,精细地控制DRS资源的使用范围,帮助用户安全的控制资源的访问。具体请参见创建IAM用户并登录 访问控制 权限控制 您可以使用IAM为企业中的员工设置不同的访问权限
DRS支持断点续传吗 针对数据库的迁移、同步场景,在迁移、同步过程中由于不可抗拒因素(例如网络波动)导致的任务失败,DRS通过记录当前解析和回放的位点(该位点同时也是数据库内部一致性的依据),下次从该位点开始回放的方式来实现断点续传,以确保数据的完整性。 增量阶段的迁移、同步,DRS会自动
time_zone的一致性检查 源数据库和目标数据库的time_zone参数不一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数time_zone或system_time_zone不一致。 处理建议 修改源数据库或者目标数据库的time_zone(timezone
支持单增量到全量+增量、全量+增量到单增量的修改方式。 支持状态为配置中、增量中、增量失败的任务进行修改。 操作步骤 在“实时同步管理”页面的任务列表中,选择要修改的任务,单击任务名称。 在“基本信息”页签的“同步实例信息”区域,单击同步模式后的,进行修改。 单击,提交修改。 单击,取消修改。
备份迁移失败,提示使用的是全量备份文件 操作场景 客户通过增量备份数据迁移上云时,报错:Full files cannot be restored in incremental mode.。 问题分析 在增量备份过程中,全量备份文件还原完毕后,只能再接受事务日志备份文件。如果用户再次选择了全量备份文件,会报此错误。
DRS任务表数量太多导致任务超时怎么办 当DRS任务表数量太多时,可能占用过多的内存等资源,导致在进行预检查、数据对比等操作时超时。针对这种情况,建议用户通过以下方式解决: 创建任务时选择大规格,表数量建议不超过5W张。 如果表数量过多(超过5W张),建议拆分多个任务进行同步。 父主题:
对于源数据库和目标数据库的版本有差异的同步链路,由于不同版本之间的部分特性差异,可能会出现语法兼容性问题,详情可参考MySQL不同版本之间的语法差异。 表名映射时,不支持同步视图、存储过程、函数依赖的表,不支持同步表的外键约束。 对于表中的物理生成列,如果列是根据一个时间类型生成的,会存在此列数据不一致的可能性。
在发生主备倒换时,DRS会记录binlog位点信息,在主备倒换后接续位点继续进行任务,不会丢数据。 源端MySQL可通过修改数据库配置文件方式将GTID开启,重启数据库后生效。 参考命令如下: gtid_mode = on log_slave_updates = true enf
源数据库是否存在不允许使用的sql_mode值 MySQL迁移时,源数据库不能存在不允许使用的sql_mode值,否则可能会导致迁移失败。 不通过原因 源数据库参数SQL_MODE包含不允许的sql_mode值:no_engine_substitution。 处理建议 修改源数据库的参数值。 如
计费项 计费说明 数据复制服务“按需计费”和“包年/包月”两种计费方式均针对单个的DRS任务从以下方面收取费用: 表1 计费项 计费项 计费项说明 计费模式 配置费(必选) 指计算和存储资源及数据处理的费用。 “按需计费”配置费用是按照实际使用时长计费。 “包年/包月”配置费用是一次性计费。
sqlType 源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是删除,则表示被删除的数据;如果是插入,取值为null。
在“实例管理”页面,单击迁移的目标实例的操作列的“登录”。 在弹出的对话框中输入密码,单击“测试连接”检查。 连接成功后单击“登录”。 查看并确认目标库名和表名等。确认相关数据是否迁移完成。 父主题: 其他云MySQL迁移到GaussDB(for MySQL)
本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。 操作步骤
SERVICE_NAMES方式创建任务,因为SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 如果需要使用SCAN IP,需要保证SCAN IP与源库的所有VIP互通,否则无法通过测试连接检查。 若不使用SCAN IP,可以使用某一节点的VIP,其他节点异常不影响同步。
collation_server的一致性检查 源数据库和目标数据库的参数collation_server不一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的collation_server参数不一致。 处理建议 修改源数据库或者目标数据库的collation_server参数,使其保持一致。
不同VPC场景下,如何实现源库和目标库的网络互通 DRS支持通过多种方式的网络进行数据迁移,包括:VPC网络、VPN网络、专线网络和公网网络,其中VPC网络适合云上同Region数据库之间的迁移。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。
数据复制服务提供对灾备任务的主备倒换功能。RPO和RTO均为0时,表示数据已经完全迁移到灾备库,可以作为主备倒换的参考。 RPO(Recovery Point Objective),为业务数据库与DRS实例数据差的一种度量方式,RPO=0时,意味着业务数据库的数据已经全部到达DRS实例。
PostgreSQL同步时,源数据库“max_wal_senders”参数值必须大于当前已使用的复制槽数量。否则,可能会导致同步失败。 不通过原因 源数据库参数“max_wal_senders”小于或等于当前已使用的复制槽数量 处理建议 建议修改源库的“max_wal_senders”参数,使其大于当前已使用复制