检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”:
下三种形式: 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。 报错 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。
地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 数据复制服务API当前支持的Region如表1和表2所示,请您根据业务需要选择对应区域的终端节点。 表1 数据复制服务v5 API当前支持的Region 区域名称 区域 终端节点(Endpoint)
处理建议:把外键去掉,或者禁用触发器或者修改参数 session_replication_role的值为 replica。 父主题: 数据库参数检查
支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 本地自建Oracle数据库 ECS自建Oracle数据库 使用须知 在创建同步任务前,请务必阅读以下使用须知。 建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
图5 源库信息 表7 源库信息 参数 描述 数据库实例名称 默认为创建迁移任务时选择的GaussDB(for MySQL)实例,不可进行修改。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。 源数据库的数据库用户名和密码,会被系统加密暂存,待该任务删除后会永久清除。
性公网IP计费说明规则进行处理。 按需转包周期 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“数据库 > 数据复制服务 DRS”。进入DRS信息页面。 在任务管理页面,选择对应的任务,单击“操作”列的“更多 > 转包周期”,进入“按需转包年/包月”页面。
目前仅MySQL数据库迁移支持参数对比的功能。 对于上述参数“innodb_buffer_pool_size”,参数对比功能对应用到目标数据库的值做了内控,最大不会超过目标数据库总内存的70%。所以有时候是无法完全和源数据库该参数取值一致,这是为了避免目标数据库设置过大,而导致数据库无法启
MySQL实例,通过DRS将源端数据迁移至目标端,并在手动结束增量同步任务前持续同步源端数据。整体的部署架构可参考图1。 图1 方案架构 方案优势 采用全量+增量的迁移方式,保证数据迁移过程中业务不中断,数据不丢失。 通过服务化迁移,免去了传统的DBA人力成本和硬件成本,并允许按需购买,减低迁移成本。
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 报错 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时
迁移任务约束与限制 为保障数据迁移任务的正常运行,针对不同的链路,DRS在使用上存在一定的约束与限制。 MySQL为源使用须知 入云: MySQL迁移到MySQL MySQL迁移到DDM 将MySQL迁移到GaussDB(for MySQL) 出云: MySQL迁移到MySQL MySQL分库分表为源使用须知
DRS在进行全量迁移时,出现迁移耗时很久或者迁移任务进度不更新的情况。 排查方法 排查源库迁移数据大小: 数据迁移进度是按表数量来计算百分比,当数据迁移进度长时间不更新,可能因为有某几个表数据量过大,迁移时间较长。可以在“进度明细”下,单击目标迁移对象“详细信息”列的“查看详情”,查看具体对象的迁移进度。
失败任务计费说明 目前DRS对客户创建的计费任务,从任务启动开始进行计费,任务结束终止收费,在此期间的失败场景(如全量失败、增量失败等)均不会停止收费。为避免不必要的计费情况发生,需要客户在创建任务阶段设置“任务异常自动结束时间(天)”,输入值必须在14到100之间。设置任务异常
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
通用请求Http Status Code 正常 表1 正常返回说明 返回值 说明 200 请求成功。 202 异步请求成功提交(任务执行等)。 异常 表2 异常返回说明 返回值 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。
DRS在创建实例时,可以根据业务需要选择实例所在VPC的子网,DRS在创建完实例后会为用户分配此子网的IP地址,用于连接源数据库和目标数据库。DRS实例与华为云上的源数据库或目标数据库同处一个VPC,通过源数据库、目标数据库或DRS自身的安全组,实现网络访问控制,达到网络隔离的效果。 具体内容请参见创建虚拟私有云和子网。
资源将被限制访问和使用,会导致您的业务中断。例如DRS被冻结时,会使得用户无法再迁移数据。 包周期资源被冻结后,将被限制进行变更操作。 资源被冻结后,可以手动进行退订/删除。 资源解冻时:资源将被解除限制,用户可以迁移数据。 资源释放时:资源将被释放,实例将被删除。 怎样续费? 包年/包月方式
); - - 多表归一场景注意事项 DRS支持多表对一的数据聚合场景,最佳实践是推荐只选择同步加列DDL,其他大部分DDL同步都可能会因目标表修改而导致其他任务失败或数据不一致的情况发生,常见情况有:同步truncate导致目标数据全部被清空;同步创建索引导致目标表被锁定;同步ren
任务生命周期 查看任务详情 修改任务信息 修改连接信息 修改流速模式 修改同步模式 编辑同步任务 续传同步任务 跳跃续传同步任务 暂停同步任务 重置同步任务 重置同步位点 重启同步任务 跳过DDL 双AZ任务倒换 双向同步任务倒换 单AZ转双AZ任务 克隆同步任务 同步规格变更 退订包周期任务
任务生命周期 查看任务详情 修改任务信息 修改连接信息 修改流速模式 编辑迁移任务 续传迁移任务 目标库实例解除只读 重置迁移任务 暂停迁移任务 克隆迁移任务 结束迁移任务 删除迁移任务 批量导入任务 任务状态说明 父主题: 任务管理