检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改数据库后,到SDK的用户端消费一般有多长时间的延迟 如果用户消费没有延迟,1s内就可以收到这条变更。 父主题: 数据订阅
实时同步不同于数据迁移,是维持不同业务之间的数据持续性流动,除了可以实现实例级多对一同步(如图3,财务系统、订单系统到报表系统的数据同步)外,还可以通过对象名映射功能,实现库级或者表级数据多对一同步(如图3,财务系统、订单系统中表B的数据到报表系统表B的数据同步)。 图3 多对一实时同步 实例级多对一任务操作流程
了明确本云(本区)RDS在灾备中所扮演的角色,DRS使用主1、主2来区分角色。选择了本云RDS角色后,也意味着确定了另一方的角色。 主1:一般具有业务数据,创建任务时选择主1则表示本云RDS具有初始数据。 主2:必须为空数据库,创建任务时选择主2则表示本云RDS为空库,等待接收数据。
费用账单 包年/包月计费模式的DRS任务完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的DRS任务按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考按需产品周期结算说明。DRS任务的按需计费模式按小时进行结算。
问题分析 出现上述内存溢出可能存在如下原因: 源数据库的mongod服务单独部署在一台机器上,如果这种情况下在迁移过程中出现内存溢出,一般就是因为在迁移过程中源库在执行会大量消耗内存的操作,比如:创建索引,排序查询等。 源数据库的mongod服务和其他服务同时部署在一台机器上
限于源数据库IO相关的性能以及网络带宽。一般在网络无瓶颈的情况下,会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU,在并发读取源数据库时,会占用大约6-10个session连接数,其中: 有小于8个连接查询源数据库的一些系统表(如information_schem
参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制,支持以下四项,Kafka server默认是 GSSAPI 机制,更多说明可参考SASL机制。 GSSAPI PLAIN SCRAM-SHA-256 SCRAM-SHA-512 令牌委托 是否为委托令牌鉴权,SASL机
Prematurely reached end of stream。 可能原因 源库或目标库连接数不足,请检查源库或目标库的连接数上限和当前已经使用的连接数。一般情况DRS使用连接数:源数据库端10个左右,目标数据库端20个左右。 处理方法 调整数据库支持的连接数。 如果为DDS,可参考DDS用户指
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特点:实时
MySQL数据库操作 在MySQL迁移过程中,常见的迁移用户一般分为三类:可完整迁移的用户、需要降权的用户和不可迁移的用户。 可完整迁移的用户:可完整迁移的用户指满足目标数据库权限要求的用户,该类用户在进行迁移时不需要做任何处理,系统默认会将对应的数据库用户权限迁移至目标数据库。 需要降
数据库参数SERVER_ID的一致性检查 MySQL迁移时,源数据库和目标数据库的SERVER_ID参数一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的系统参数SERVER_ID相同。 处理建议 修改源数据库或目标数据库的参数SERVER_ID。 父主题: 数据库参数检查
RTO增大常见原因 RTO是增量同步期间DRS实例上的事务传输到灾备目标库且回放成功的时间差,RTO值较大说明DRS上需要回放到目标实例的事务有积压。一般有以下几种原因: 灾备任务初始化完成不久,启动灾备任务到当前时间累积的增量数据需要回放。 业务数据库对无主键表进行了批量操作,DRS灾备实
源或者目标数据库哪些操作,会影响DRS任务状态 以华为云RDS for MySQL为例,以下操作可能会影响DRS任务状态。 实例备份:一般情况下,实例备份对DRS任务无影响。 单机转主备:正常情况下对DRS任务无影响。 实例重启:重启数据库实例将导致短暂中断,在此期间,实例将不可
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户
模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即先使用再付费,按照实际使用时长计费,秒级计费,按小时结算。按需计费模式允许您
Dynamo内容比对进行数据过滤时,过滤条件不支持二进制类型。内容比对以源为准,无法识别目标比源多记录的情况。 对数据库影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。
重置任务和重新创建任务有什么区别 重置功能一般在任务暂停和失败场景使用,DRS重置功能不会清空目标库,客户需要根据自己的需求选择是否清空目标库。 任务重置后会重新进行全量同步,不需要再次配置任务。 更多重置功能详细说明可参考这里。 父主题: 通用操作
在处理无主键表时需要)。 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。
DRS预检查项一览表 DRS迁移过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保迁移各个阶段的平顺,DRS在任务正式启动前,会对任务源数据库、目标数据库中的参数、对象等信息进行自动化的扫描和检测,帮助您提高数据迁移的成功率,常见的预检查项清单如下所示。
数,单击“一键对齐”按钮,系统将帮您自动填充目标数据库的参数值,使其和源库对应的参数值保持一致。 图12 一键对齐参数 对齐参数值的操作,您也可以通过手动输入调整的倍数或结果。 修改参数值。 源库和目标库的不一致参数值对齐后,单击“一键修改”按钮,系统将按照您当前设置的目标库参数