检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多对一的场景约束及操作建议 因业务需要,不同实例、不同表的数据需要进行合并时,数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。
据迁移,最终业务割接至GaussDB。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理
特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。 图3 多对一实时同步 数据订阅 数据订阅是指获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费
传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
MySQL)实例,同时假设ECS和GaussDB(for MySQL)实例在同一个VPC中。部署架构如图1所示。 如果自建MySQL和GaussDB(for MySQL)实例不在同一个VPC内,相比于相同VPC的情况,需要配置两个VPC的对等连接,部署架构图如图2所示。 图1 同一VPC的部署架构
DRS通过多种数据保护手段和特性,保障传输中数据的安全性和完整性。 主机安全及数据可靠、持久性 DRS底层的计算资源使用了弹性云服务器,存储资源则使用了云硬盘,充分利用了弹性云服务器及云硬盘提供的安全和可靠性能力,来保证DRS实例的主机安全性、数据可靠性及数据持久性。 实例高可用 为了提高服
Server Management Studio客户端工具连接本地实例。 单击“服务器对象 > 链接服务器”,找到当前实例的DBLink链接。 图4 查看DBLink链接 选中链接服务器,右键单击“编写链接服务器脚本为 > CREATE到 > 新查询编辑器窗口”。 在弹出的对象资源管理
后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。 根据本地的MySQL数据库的IP和地址,通过数据库连接工具连接数据库。 执行如下语句,在源库插入一条数据。 我们插入一条“id”为3的数据。 insert into test_info
MySQL实例,该实例选择和自建MySQL服务器相同的VPC和安全组。 进入购买云数据库RDS页面。 配置实例基本信息。选择区域“华东-上海一”。 图1 基本信息 选择实例规格,其他参数默认配置。 图2 实例规格 单击“立即购买”。 进行规格确认。 如果需要重新选择实例规格,单击“上一步”,回到上个页面修改实例信息。
源数据库和目标数据库的字符集是否一致 检查源数据库和目标数据库的数据库的字符集是否一致。当源数据库和目标数据库字符集不一致时,可能导致部分数据乱码、数据不一致等问题 不通过原因 源数据库和目标数据库字符集不一致。 处理建议 修改源数据库或者目标数据库字符集。 数据库为MySQL时,可通过以下方式进行修改:
数值,二者结果可以一致也可以不一致。 若您需要将对比结果一致的性能参数修改为不一致,需要在“目标库值调整为”一列手动输入需要调整的倍数或结果,单击左上角“一键修改”按钮,即可将源数据库和目标数据库对应的性能参数值改为不一致。 若您想将对比结果不一致的参数改为一致结果,请参考如下流程进行修改:
VPN、专线网络。 DRS任务类型 选择DRS任务类型,可选“单AZ”和“双AZ”。 双AZ:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步,提高同步任务的可靠
如何将源数据库的用户与权限导出,再导入到目标数据库 选择一台可以访问源数据库的虚拟机。 执行如下命令后,输入密码并回车,将源库用户导出到临时文件“users.sql”中。 mysql -h 'host' -u 'user' -p -N $@ -e "SELECT CONCAT('SHOW
源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。 当源数据库和目标数据库处于同一个VPC内的时候,默认网络是连通的,不需要单独设置安全组。 当源数据库和目标数据库不在同一个VPC内的时候,要求源数据库和目标数据库所
表结构一致性检查 DRS在选择仅同步数据时,会对用户源端和目标端的表结构一致性进行检查。 不通过原因 目标端表的字段未涵盖源端表的所有字段。 列名的大小写问题,源和目标端是不同数据库的情况下,源端表列名会转成小写和目标端比较。 列名中包含空格或者特殊字符等。 处理建议 返回设置同
Server Management Studio客户端工具连接本地实例与云上实例,同时在“服务器对象 > 链接服务器”下找到当前实例的DBLink链接。 图2 查看DBLink链接 选中链接服务器,然后按F7,会自动弹出对象资源管理信息页,在该页面中可以方便你快速的自动创建脚本。 图3
Server Management Studio客户端工具连接本地实例与云上实例,同时在“服务器对象 > 链接服务器”下找到当前实例的DBLink链接。 图2 查看DBLink链接 选中链接服务器,然后按F7,会自动弹出对象资源管理信息页,在该页面中可以方便您快速的自动创建脚本。 图3
事务隔离级别一致性校验 MySQL迁移时,源数据库和目标数据库的事务隔离级别需要保持一致。 不通过原因 源数据库和目标数据库的事务隔离级别不一致。 处理建议 修改数据库隔离级别参数(tx_isolation或者transaction_isolation),使源库和目标库的事务隔离级别保持一致。
操作流程 网络配置流程 创建DRS实例,并获取DRS实例所在子网和私有IP地址。 DRS实例所在子网默认选择与目标库在同一个子网。 图3 迁移实例信息 DRS迁移实例创建成功后,界面会显示DRS迁移实例的私有IP地址。 图4 DRS实例私有IP 查询DRS实例所在VPC信息。 DRS迁