检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
error, msg=Invalid BSON field name {***} 可能原因 字段中含有不合法的符号,如".","$"等。 处理方法 排查源库数据中含有不合法符号的字段,并修改去掉不合法符号后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MongoDB->DDS实时迁移
possible or wait for restarting by itself within 5 minutes。 可能原因 同步进程异常。 处理方法 用户无需关注,DRS守护进程会自动恢复任务,迁移和同步业务不受影响,数据会断点续传。如果任务已异常,请在任务列表中,单击任务对应操作列的“续传”,重新提交任务。
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 job_id 是 String 任务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指
authorized on *** to execute command {***}。 可能原因 DRS使用的迁移账号在目标库无写入权限。 处理方法 参考Mongo数据库官方文档或DDS用户指南为DRS迁移账号赋权,使其具备目标库写入权限。 调整完成后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 async_job_id 否 String 批量异步创建的任务ID。
根据业务情况,待业务完全迁移至目标库,可以结束当前任务。 单击“操作”列的“结束”。 仔细阅读提示后,单击“是”,结束任务。 迁移完成后,进行性能测试。 测试DDM性能的方法请参见性能白皮书。 父主题: 实施步骤
续传回放任务 回放任务可能因外部因素导致暂时故障,用户根据回放日志信息解决问题后,可以通过续传功能继续进行回放。 对于以下状态的任务,可以通过续传功能继续进行回放。 任务失败 已暂停 如果因为非网络原因导致任务解析失败,系统默认进行三次自动续传,若三次续传后仍无法恢复,可手动进行续传。
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
确认迁移结果 确认迁移结果可参考如下两种方式: DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在TaurusDB管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果
如何将源数据库的用户与权限导出,再导入到目标数据库 选择一台可以访问源数据库的虚拟机。 执行如下命令后,输入密码并回车,将源库用户导出到临时文件“users.sql”中。 mysql -h 'host' -u 'user' -p -N $@ -e "SELECT CONCAT('SHOW
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
确认同步执行结果 确认同步结果可参考如下两种方式: DRS会针对同步对象、数据等维度进行对比,从而给出同步结果,详情参见在DRS管理控制台查看同步结果。 直接登录数据库查看库、表、数据是否同步完成。手工确认数据同步情况,详情参见在DDM管理控制台查看同步结果。 在DRS管理控制台查看同步结果
确认迁移执行结果 确认迁移结果可参考如下两种方式: DRS会针对迁移对象、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在DDM管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果
克隆迁移任务 DRS支持通过任务克隆功能,快速复制现有迁移任务的配置。但是对于以下状态的任务,暂不支持进行克隆。 创建中 创建失败 配置 等待启动 启动中 删除 目前以下迁移链路支持克隆功能: 入云 MongoDB->DDS 出云 DDS->MongoDB 任务克隆时,源和目标数
续传灾备任务 灾备过程中可能因外部因素导致灾备暂时故障,用户根据灾备日志信息解决问题后,可以通过续传功能继续灾备,常见场景如存储空间不足。 如果因为非网络原因导致灾备失败,系统默认进行三次自动续传,若三次续传后仍无法恢复灾备,可手动进行续传。 如果因为网络原因导致灾备失败,系统自动续传,直到恢复灾备。
创建VPC和安全组 创建VPC和安全组,为创建RDS for MySQL实例准备好网络资源和安全组。 创建VPC 进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据页面完成基本信息、子网配置和地址配置。 图1 创建虚拟私有云 单击“立即创建”。 返回VPC列表,查看创建VPC是否创建完成。
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指