检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理方法 单击任务操作列的“编辑”按钮,在“设置同步”页面,修改同步的对象,去掉数据不一致的表后启动任务。 清理目标库对应表的数据,修改表结构为兼容源库形式。 再次单击任务操作列的“编辑”按钮,修改同步的对象,添加该表后启动任务,重新该表数据。 父主题: 实时同步
全量阶段失败报错,关键词“The table *** is full” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:service DATAMOVE failed, cause by: apply event=[type=table_data, batch_index_in_shard=1
限速模式指的是限制秒级的流量上限,可能因为网络波动原因导致统计值的降低,实际统计的值可能会低于限速值大小。 限速模式只对全量迁移阶段生效,增量迁移阶段不生效。 增量阶段修改限速后,待任务再次进入全量阶段会生效。 修改限速后会出现短暂的没有流量情况,是因为DRS后台进程会重启续传,并不影响任务进度和数据一致性。
录制回放统计图支持选择查看某一时间段内的SQL总量、执行量、异常量以及慢SQL数量情况。 录制回放异常SQL模块中,展示回放异常的SQL对象分类及数量。 慢SQL模块支持查看SQL原始和回放耗时。 执行SQL模块展示回放过程中正在目标库运行的SQL情况。 图1 回放进度 下载导出报告
后数据不一致。DRS会检查源数据库是否存在TTL索引的集合,如果存在,需要删除TTL索引或者不迁移存在TTL索引的集合。 待确认原因 待迁对象存在TTL索引,会因为源数据库和目标库数据的时区、时钟不一致导致迁移后数据不一致。 处理建议 如果关注存在TTL索引的集合的数据的一致性,
建的DRS任务参数进行调整。 约束限制 支持任务状态为配置、全量同步、全量同步失败、增量同步、增量同步失败以及暂停时进行修改参数。 部分参数修改后,需要重启同步任务后才能生效。除此以外,重置、续传、任务重建、主备倒换、全量阶段修改限速操作也会重启任务进程使设置生效。 目前仅支持以
CREATE ON DATABASE database_name TO ptd; 如果需要同步模式下的对象,需要具有模式所在库的CONNECT权限、对象所在模式的USAGE权限、对象所在模式上的CREATE权限。 参考语句: GRANT USAGE, CREATE ON SCHEMA
当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。 创建DRS实时迁移任务的API。 具体步骤 Token认证,并获取Token值,具体操作请参考认证鉴权。 获取DRS的Endpoint。 调用接口前,您需要提前获取到地区和终端节点,即下文中的Endpoint值。
数据库的触发器(TRIGGER)和事件(EVENT)操作会记录binlog,DRS通过解析binlog同步数据,如果业务侧写入与触发器、事件存在同样对象,就会发生重复执行导致数据不一致或者任务失败,所以在灾备场景下,触发器和事件是不支持的。 假如源库表user存在这样触发器,当表user写
SQL数量情况。 图1 回放统计图 慢SQL模块支持查看各类型SQL的数量和回放耗时情况。 录制回放异常SQL模块中,展示回放异常的SQL对象分类和数量。 图2 回放SQL 下载回放报告 在“录制回放管理”界面,选中指定回放任务,单击任务名称。 在“回放报告”页签,可对当前任务的回放报告进行下载。
全量阶段失败报错,关键词“Temporary file write failure.” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:service DATAMOVE failed, cause by: retry structures failed events=the
ALL:每一行日志中记录了该行所有列的值。 以下三项检查,满足其中一项即可符合DRS增量同步的基本要求。 表级补全日志PK/UI检查(最低要求) 针对用户选择的待同步的表级对象,检查补全日志是否满足要求。 在源库中执行以下sql语句。 select * from ALL_LOG_GROUPS where (LOG_GROUP_TYPE='UNIQUE
DRS实时同步功能目前支持多种拓扑类型,用户可根据自己的需求进行规划,详细说明可参考以下内容。 为保证同步数据的一致性,请勿对目标数据库中的同步对象进行修改操作。 一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个同步任务来实现一对多的实
DRS需要源数据库停止业务吗 DRS任务分为全量、增量、全量+增量三种模式,不同链路支持的模式不同。 全量模式:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库。 增量模式:该模式通过解析日志等技术,
取消对比任务 功能介绍 取消对比任务。 URI DELETE /v3/{project_id}/jobs/{job_id}/compare/{compare_job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project
获取项目ID 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号,所以需要获取到项目编号。项目编号获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 获取项目ID 多项目时,展
可参考如下步骤。 迁移结束后请开启Balancer,因为在迁移期间关闭了Balancer,源数据库的不同shard可能产生了不等量的块(chunk),在Balancer开启之后集群shard之间的块(chunk)移动会暂时影响源数据库的性能。 关闭Balancer的步骤 通过Mongo
更新任务信息:修改任务名称或描述,设置异常通知信息。 设置同步策略:设置同步策略,包括冲突策略、过滤DROP Database、对象同步范围。 添加需要同步的库表信息:选择需要同步的数据库或者表。 数据加工:为选择的对象添加规则。 执行预检查:执行预检查,校验是否可进行同步。 查询预检查结果:查看预检查结果,预检查通过后可执行下一步。
全量阶段失败报错,关键词“Column name 'AUTO_PK_ROW_ID' is reserved.” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:service LOGMANAGER failed, cause by: create table *** error
迁移上云,支持全部数据库对象的迁移。 图1 实时迁移 备份迁移 由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标