检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库影响主要体现在IO上,查询速度也受限于源数据库IO相关的性能以及网络带宽。一般在网络无瓶颈的情况下,会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU,在并发读取源数据库时,会占用大约6-10个session连接数,其中:
目标库是否已有数据 目标库已有数据可能导致迁移时数据冲突,导致性能下降。 目标库是否有触发器 目标库有触发器可能导致迁移时写入性能下降。 目标库备份和日志等相关设置 如无必要可在迁移期间关闭目标库备份和事务日志,可提升迁移性能。 源库增量数据产生速度 源库增量数据产生速度越快,增量数据追平的耗时越长。
在任务管理界面,选择指定的任务,单击任务名称。 在“源库及目标库”页面,填选目标库信息,单击“目标库”处的“测试连接”,测试并确定与目标库连通。 当测试连接失败时,可单击失败信息右侧的“一键诊断”按钮进行诊断。 图1 一键诊断 等待诊断完成后,可在弹出的“诊断详情”窗口查看结果,包括丢包率和端口检查结果。
自建MySQL服务器 创建VPC和安全组 创建ECS(MySQL服务器) 安装社区版MySQL 创建ECS并安装MySQL客户端 测试自建MySQL性能 父主题: 实施步骤
单击“开始创建”。 配置源库及目标库信息。 填写源库的IP、端口、用户、密码等信息。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。 填写目标库的账户和密码。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。 单击“下一步”,仔细阅读提示内容后,单击“同意,并继续”。 设置同步。
获取用户token:通过调用IAM服务的API,获取用户的Token。 创建迁移实例:根据需要,创建迁移任务。 查询任务创建进度:查询任务当前具体状态 测试连接:测试与源库和目标库的连接,以便继续进行任务。 更新任务信息:修改任务名称或描述,设置异常通知信息。 添加需要迁移的用户信息和库表信息:更新
根据业务情况,待业务完全迁移至目标库,可以结束当前任务。 单击“操作”列的“结束”。 仔细阅读提示后,单击“是”,结束任务。 迁移完成后,进行性能测试。 测试DDM性能的方法请参见性能白皮书。 父主题: 实施步骤
在任务管理界面,选择指定的任务,单击任务名称。 在“源库及目标库”页面,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库、目标库连通。 当测试连接失败时,可单击失败信息右侧的“一键诊断”按钮进行诊断。 图1 一键诊断 等待诊断完成后,可在弹出的“诊断详情”
在任务管理界面,选择指定的任务,单击任务名称。 在“源库及目标库”页面,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库、目标库连通。 当测试连接失败时,可单击失败信息右侧的“一键诊断”按钮进行诊断。 图1 一键诊断 等待诊断完成后,可在弹出的“诊断详情”
在任务管理界面,选择指定的任务,单击任务名称。 在“源库及目标库”页面,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库、目标库连通。 当测试连接失败时,可单击失败信息右侧的“一键诊断”按钮进行诊断。 图1 一键诊断 等待诊断完成后,可在弹出的“诊断详情”
数据库账号不允许远程连接。 Kafka brokers不可用。 连接失败。 处理建议 检查DRS测试连接时输入的用户名和密码是否正确,填入正确的数据库用户名和密码后重新执行预检查。 测试连接时输入的端口号无法访问,请检查端口是否存在。如果端口正确,需检查防火墙是否放开。 目标数据库
有任务告警、监控,任务异常自动重试。 无任务告警、监控,任务异常手动重试 性能 支持多规格,可根据不同性能要求选择。 不支持规格选择,性能为极小规格的性能。 商用状态 已经商用,收费。 公测阶段,免费。 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。
同步实例创建中,大约需要5-10分钟。 配置源库信息和目标库数据库密码。 配置源库信息。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。 选择目标库所在VPC和子网,填写Kafka的IP地址和端口。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。 单击“下一步”。 选择同步信息、策略、消
任务创建成功之后,任务状态为CONFIGURATION,并且与源库、目标库测试连接均通过、修改任务接口调用成功后才能调用。 双主灾备时,需要正向任务状态为INCRE_TRANSFER_STARTED时,反向任务不需要调用该接口,父任务不支持调用。 为保证接口调用性能,建议批量调用数量不超过10个。 URI POST
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户
本示例中选择了单可用区,实际建议选择多可用区,以提高实例的高可用性。 性能规格 通用增强Ⅱ型 8 vCPUs | 64GB 本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。 存储空间 480G 本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。
本示例中选择了单可用区,实际建议选择多可用区,以提高实例的高可用性。 性能规格 通用增强Ⅱ型 8 vCPUs | 64GB 本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。 存储空间 480G 本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。
仅实时迁移、实时同步支持对象选择。 任务创建成功之后,任务状态为CONFIGURATION,并且与源库和目标库测试连接通过、修改任务接口调用成功后才能调用。 为保证接口调用性能,建议批量调用数量不超过10个。 URI PUT /v3/{project_id}/jobs/batch-select-objects
选择DRS实例的规格类型,不同规格类型对应不同性能的性能上限,详细可参考实时同步链路规格说明。 说明: 目前,DRS同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持降低规格,具体操作及约束限制可参考同步规格变更。 可用区 DRS任务创建的可用区,选择跟源或目标库相同的可用区性能更优。 DRS任务类
企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理 本次实践中UGO负责异构数据库结构对象迁移,DRS仅同步数据,原理如下: