检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性公网IP费用(可选) 指公网访问产生的数据处理和数据流量费用。如果创建公网网络任务,您需要购买弹性公网IP。 假如您计划购买按需计费的MySQL->MySQL中规格单AZ的实时同步任务。在购买页面底部,您将看到所需费用的明细,如图1所示。 图1 费用示例 图中价格仅供参考,实际计算请以DRS价格计算器中的价格为准。
源数据表是否含有不支持的表字段类型 PostgreSQL->GaussDB(DWS)同步 表1 源数据表是否含有不支持的表字段类型 预检查项 源数据表是否含有不支持的表字段类型 描述 源数据表若含有不支持的表字段类型,会造成数据同步失败。 不通过提示及处理建议 不通过原因:源数据库表含有不支持的表字段类型。
同步对象中是否存在包含bytea、text类型字段的表 PostgreSQL为源同步场景 表1 同步对象中是否存在包含bytea、text类型字段的表 预检查项 同步对象中是否存在包含bytea、text类型字段的表。 描述 bytea、text类型的字段在同步过程中可能会导致DRS任务OOM。
建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请参考修改连接信息章节修改DRS任务的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 表3 数据库用户权限 类型名称 全量同步 源数据库连接用户 需要具备以下最小权限:
DRS任务引擎类型。 缺省值:mysql 取值: mysql:MySQL到MySQL迁移,MySQL到MySQL同步 mongodb:MongoDB到DDS迁移 cloudDataGuard-mysql:MySQL到MySQL灾备 gaussdbv5:GaussDB同步 mysql-to-kafka:MySQL到Kafka同步
期间关闭了Balancer,源数据库的不同shard可能产生了不等量的块(chunk),在Balancer开启之后集群shard之间的块(chunk)移动会暂时影响源数据库的性能。 关闭Balancer的步骤 通过Mongo Shell 登录数据库。 在mongos节点命令窗口中
这条Record的ID,这个ID在订阅过程中不保证递增。 instance 这条Record对应的数据库实例的连接地址,格式为:ip:port。 source_type 这条Record对应数据库实例的引擎类型,目前只支持MySQL。 source_category 这条Record的类型,目前只支持full_recorded。
建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请参考修改连接信息章节修改DRS任务的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 表3 数据库用户权限 类型名称 全量、全量+增量同步
GaussDB、PostgreSQL、Oracle为目标的支持异常数据类型: 违反非空约束 数据异常 数据右边被截断 唯一键冲突 MySQL为目标的支持异常数据类型: 违反非空约束 数据超长 唯一键冲突 同名列 列已存在 未知列 支持链路 DDM->Oracle MySQL->GaussDB
_ALL ALL_LOG from v$database; 满足以下其中一项要求即可。 PK和UI同时为YES,即可满足DRS增量同步要求。 如果不满足要求,可执行以下sql语句开启库级PK/UI级别补全日志。 alter database add supplemental log
字符集不兼容导致数据乱码或者同步失败 背景 当源数据库和目标数据库字符集不兼容时,可能导致 部分数据乱码。 数据同步不一致。 目标库写入失败。 解决方案 针对这种情况,建议先修改目标库字符集后再进行同步。若同步任务已经报错,请修改目标库字符集后再重置任务进行同步。 父主题: 实时同步
预检查超时 DRS预检查阶段会在源及目标数据库进行一系列查询判断是否符合数据迁移或者同步的前提条件,以便提升任务成功率。当后端检查用时超过页面超时设置时,会显示预检查结果上报超时。 可能原因 源或目标数据库资源不足,执行查询过慢导致超时。 数据库中对象过多,执行用时长导致超时。 选择
可能原因 目标库创建索引时,需要的内存大于数据库配置maintenance_work_mem的大小。 解决方案 参考修改实例参数内容,修改目标数据库RDS for PostgreSQL配置参数maintenance_work_mem至合适值。 等待数据库重启生效后,在DRS任务管理页面单击“续传”继续同步。
交的XA事务的数据。 不通过原因 源库存在长时间未提交的XA事务。 处理建议 请确保XA事务已正确提交,然后重新进行预检查。 父主题: 数据库参数检查
如果您未注册华为账号并开通华为云,请在华为云官网注册,详细操作请参见注册华为账号并开通华为云。注册成功后,可访问华为云的所有服务,包括数据复制服务、关系型数据库、文档数据库服务等。 如果您已注册华为账号并开通华为云,可直接登录管理控制台,访问数据复制服务。
source database may have a long transaction: ****. 可能原因 报错信息中包含detail:Read timed out:DRS启动任务后,DRS增量抓取在源端数据库创建逻辑复制槽时由于长事务阻塞,或者创建逻辑复制槽的过程中数据库未找到一致性位点,等待创建超时。
原因5:目标库规格受限,达到写入瓶颈。以目标实例为RDS for MySQL为例,用户可以在RDS控制台查看数据库性能指标。 原因6:可能存在热点更新。无主键表的写入会导致热点更新,源库对单一表或单一行的高频更新也会导致热点更新,从而导致时延增大。以RDS for MySQL为例,可以通过RDS的审计日志进行确认,详情可参考RDS审计日志。
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
用户在设置迁移用户密码时,设置的密码不符合目标库的密码复杂度要求,需要按照用户密码复杂度的要求进行密码设置。 操作步骤 以下操作适用于目标数据库为RDS实例的情况。 登录关系型数据库服务控制台。 选择指定目标数据库实例。 单击实例名称。 页面跳转至“基本信息”页签,切换至“参数修改”页面。 在页面右上角搜索框,输入
DRS是否支持双向实时同步 DRS目前支持MySQL->MySQL的双向同步,为白名单功能,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。 双向同步任务在创建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双向任务顺利部署。