-
全量迁移失败报错,关键词“Prematurely reached end of stream” - 数据复制服务 DRS
可能原因 源库或目标库连接数不足,请检查源库或目标库的连接数上限和当前已经使用的连接数。一般情况DRS使用连接数:源数据库端10个左右,目标数据库端20个左右。 处理方法 调整数据库支持的连接数。 如果为DDS,可参考DDS用户指南中的内容,查询和调整数据库支持的连接数。 如果为Mongo数据库,可参考官网文档进行调整。
-
数据复制服务是否采用了并发技术 - 数据复制服务 DRS
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大
-
DRS对源数据库和目标数据库有什么影响 - 数据复制服务 DRS
占用2~4个CPU,在并发读取源数据库时,会占用大约6-10个session连接数,其中: 有小于8个连接查询源数据库的一些系统表(如information_schema库下的表信息tables,视图信息views、列信息columns等); 有小于4个连接查询源数据库数据分片的
-
DRS对比任务对数据库有什么影响 - 数据复制服务 DRS
对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对
-
最佳实践概述 - 数据复制服务 DRS
低成本 享更多的服务 只需支付实例费用,无需其他硬件、托管等费用。 超高性能 极致用户体验 100%兼容MySQL应用。 高并发性能满足苛刻性能要求。 支持大量连接,响应更快速。 高安全性 保证数据库安全 网络隔离、访问控制、传输加密、存储加密、防DDos攻击,全系列的数据库高安全等级,保证数据库安全。
-
通用使用建议 - 数据复制服务 DRS
由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库时,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 在网络无瓶颈的情况下,全量迁移会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
-
迁移过程中会使用哪些数据库账户 - 数据复制服务 DRS
临时账户,任务结束后,数据复制服务会自动删除这两个账户。 禁止使用用户自建的drsFull和drsIncrementa账号作为DRS任务连接数据库的账号。 删除、重命名和修改这些账户的密码和权限,会导致任务出错。 表1 MySQL实例创建的数据库账户 账户 使用场景 Host 说明
-
MySQL到MySQL - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
MySQL到MySQL - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
MySQL到GaussDB(for MySQL) - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
MySQL到GaussDB(for MySQL) - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
创建回放任务 - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
通用使用建议 - 数据复制服务 DRS
由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库时,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
-
MongoDB链路时延增高可能原因 - 数据复制服务 DRS
DDS->MongoDB出云同步 可能原因 DRS在任务增量阶段,为保证迁移/同步/灾备的性能,会集合级的进行并发回放。如果出现以下特殊情况,DRS只支持单线程写入,不支持并发回放。 集合的索引中有unique key时; 集合属性的capped为true时; 若出现时延增高的这种情况,用户可排查是否以上原因导致。
-
全量或增量阶段失败报错,关键词“Got minus one from a read call” - 数据复制服务 DRS
执行以下命令查看源数据库连接数,连接数已经达到上限。 查看当前连接数: select count(*) from v$process; 查看最大连接数: select value from v$parameter where name ='processes'; 如果源数据库连接已达到上限,
-
GaussDB(for MySQL)到GaussDB(for MySQL) - 数据复制服务 DRS
可以选择“性能模式”或“事务模式”。 性能模式:可以设置并发连接数,回放过程中将按照设置的连接数在目标库回放。不保证源库的SQL在目标库回放时是同一个线程连接回放,回放性能较好。 事务模式:不可以设置并发连接数,将按照源库日志中连接信息动态调整连接数,可以保证源库同一个连接中的事务SQL顺序执行。 回放SQL过滤
-
增量同步失败报错,关键词“remaining connection slots are reserved” - 数据复制服务 DRS
connections 可能原因 目标库用户连接数达到上限,导致访问目标库时建立连接失败。 可登录至目标库RDS for PostgreSQL,执行如下SQL进行验证: 查看max_connections: show max_connections; 查看当前连接数: select count(*)
-
源或者目标数据库哪些操作,会影响DRS任务状态 - 数据复制服务 DRS
继续任务。 限制连接会话数:DRS任务连接源和目标端需要一定数量的会话数,详细可参考DRS对源数据库和目标数据库有什么影响。当连接数不足时,会导致DRS任务失败,用户可在调整数据库连接数后,单击任务“操作”列上的“续传”继续任务。 网络抖动:针对网络抖动造成的连接失败,DRS会自
-
RDS容灾切换 - 数据复制服务 DRS
停止。 选择“批量操作 > 主备倒换”,将灾备实例由只读状态更改为读写状态。 图3 主备倒换 图4 倒换完成 在应用端修改数据库连接地址后,可正常连接数据库,进行数据读写。 父主题: 搭建容灾关系
-
分片集群MongoDB迁移前清除孤儿文档 - 数据复制服务 DRS
分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Ch