检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
除了MySQL系统数据库之外,目标数据库不能包含与源数据库同名的数据库。 详见目标数据库是否存在和源数据库同名的数据库。 库表名规范检查 源数据库中的库名和表名不能包含:'<`>/\"以及非ASCII字符。 - 对象名长度检查 目标数据库对象名最大支持63个字符。 详见源数据库对象名长度检查。
防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。 回放数据到目标库时,对要回放的数据打上特殊标记,这个标记会记录到数据库日志中。 DRS能保证最终一致性,DRS的并发顺序是按行级
VPN网关接入的虚拟私有云(VPC)和源端RDS for MySQL实例的VPC保持一致,即创建源端VPC和安全组中创建的VPC。 根据界面提示填写VPN连接信息后,单击“提交”。 本段子网和源端RDS for MySQL实例所在VPC的子网保持一致,即创建源端VPC和安全组中创建的子网。 远端网关和远端子
与其他服务关系 云数据库RDS 数据复制服务可将已有数据库迁移到本云云数据库RDS(Relational Database Service,简称RDS)。关系型数据库的更多信息,请参考《云数据库RDS用户指南》。 目前数据复制服务支持将如下场景的关系型数据库迁移到本云关系型数据库: VPC网络
的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于
导出数据库备份文件 本小节介绍了数据库全量备份文件和事务日志(增量)备份文件的导出方法。 检查本地数据库参数配置。 该操作为全量+增量迁移的必操作项,仅进行全量迁移时,可以跳过该步骤。 由于数据库存在日志截断和收缩配置,在导出全量备份文件前,需要将数据库恢复模式配置成“完整”模式
源端产生的增量数据迁移至目标端数据库,需用户判断并手动结束任务,可参考如何判断数据迁移任务可以停止。 用户在创建任务时,可根据情况选择不同模式,DRS不需要源数据库停止业务,但需注意全量和增量不同阶段对数据库产生的影响,可参考MySQL数据同步对源数据库和目标数据库有什么影响。 父主题:
without pk write target db fail。 可能原因 无主键表由于缺乏行的唯一性标志,在网络不稳定情况下,无主键表数据写入时与源数据库数据不一致。 源端为RDS for MySQL老版本(5-5.7.23),有无主键表隐藏主键的特性,导致DRS任务报错update/delete没有命中。
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
如何设置MongoDB数据库分片集群的分片键 MongoDB数据库中数据的分片是以集合为基本单位的,集合中的数据通过片键被分成多部分。 对集合进行分片时,您需要选择一个片键 , 片键是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB数据库按照片键将数据划分到不同的数据块中,
克隆任务 DRS支持通过克隆功能,快速复制现有任务的配置。 任务克隆时,源和目标数据库密码信息不会被克隆,克隆后的新任务需再次输入。 对于变更中的任务进行克隆时,如果变更信息已存入数据库,克隆任务与变更后配置保持一致。 克隆任务创建成功后,新任务的节点IP与原任务不同,可能需要调整网络配
源数据库ExpireLogsDays参数检查 MySQL的同步和灾备场景,数据库expire_logs_days参数值为0,可能会导致任务失败。 不通过原因 源库参数expire_logs_days为0时,startup和flush logs等操作会触发binlog清理,从而导致任务失败。
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
源数据库同名对象检查 MySQL->PostgreSQL同步场景 表1 源数据库同名对象检查 预检查项 源数据库同名对象检查。 描述 源数据库选择有多个数据库且未映射到同一个数据库,或者选择的数据库之间存在同名,可能会同步失败。 不通过提示及处理建议 不通过原因:PostgreS
如图所示,查询表中的各个数据类型都迁移成功,并且数据正确无误。 验证增量同步。 由于本次实践为“全量+增量”同步模式,全量同步完成后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。 根据本地的Oracle数据库的IP和地址,通过数据库连接工具连接数据库。
数据订阅 修改数据库后,到SDK的用户端消费一般有多长时间的延迟 订阅SDK获取不到数据,且程序异常
目标数据库是否存在与源数据库同名的表 MySQL同步场景 表1 目标数据库是否存在与源数据库同名的表 预检查项 目标数据库是否存在与源数据库同名的表(表名冲突)。 描述 校验用户提供的目标数据库是否存在与源数据库同名的表,避免已存在的表被覆盖。若存在,则无法迁移。 特殊情况:如果
来的冲突数据。 当同步数据与目标库已有数据冲突时,选择“忽略”无法保证最终一致性,如需保证数据一致性,可选择“覆盖”策略。 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
String 该列在目标库的名称(列名映射),当该列为“附加列”时须与数据库表级对象中列名保持一致。 type 否 String 该列字段的数据类型。 列过滤:填写源列字段的数据类型。 附加列:新填充的列指定字段的数据类型,根据不同操作类型来决定取值范围与约束。取值: 以默认值方式,支持:int
目前仅MySQL数据库迁移支持参数对比的功能。 对于上述参数“innodb_buffer_pool_size”,参数对比功能对应用到目标数据库的值做了内控,最大不会超过目标数据库总内存的70%。所以有时候是无法完全和源数据库该参数取值一致,这是为了避免目标数据库设置过大,而导致数据库无法启