检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VPC 虚拟专用网络VPN 云数据库 RDS 分布式数据库中间件DDM 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,源端为华为云RDS for MySQL,目标端为不同region下的分布式数据库中间件DDM,通过VPN网络,将源库的数据迁移到目标库。部署架构可参考图1。
方案概述 操作场景 本文将介绍如何通过DDM对已有RDS for MySQL实例进行分库分表。 操作流程 图1 流程图 前提条件 拥有华为账号。 新的RDS for MySQL实例已创建成功。 源RDS for MySQL实例与目标DDM实例、新RDS for MySQL实例必须处于相同VPC,且安全组配置相同。
数据迁移 迁移介绍 迁移评估 场景一:数据中心自建MySQL迁移到DDM 场景二:其他云MySQL迁移到DDM 场景三:华为云上自建MySQL迁移到DDM 场景四:从DDM实例导出数据 场景五:其他异构数据库迁移到DDM 场景六:从华为云RDS for MySQL迁移到DDM
什么是分布式数据库中间件 产品定义 分布式数据库中间件(Distributed Database Middleware,简称DDM),是一款分布式关系型数据库中间件。兼容MySQL协议,专注于解决数据库分布式扩展问题,突破传统数据库的容量和性能瓶颈,实现海量数据高并发访问。 DD
DDM表数据重载 功能介绍 DDM实例跨region容灾场景下,针对目标DDM实例实现表数据reload,使数据同步。 接口约束 无。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
服务介绍 分布式数据库中间件 DDM 分布式数据库中间件DDM介绍 02:47 分布式数据库中间件DDM介绍 操作指导 分布式数据库中间件 DDM 购买DDM实例 02:40 购买DDM实例 分布式数据库中间件 DDM 创建逻辑库并关联数据节点 03:00 创建逻辑库并关联数据节点 分布式数据库中间件
为了保持数据完整性,需要先停止Mycat业务后再进行数据迁移。 该场景不支持通过DDM关联Mycat关联的RDS进行数据关联,需要将Mycat数据导出后再导入到DDM完成数据迁移。 目标DDM关联的RDS版本与Mycat关联数据库的版本需要保持一致。 从Mycat导出数据表结构 登录ECS。 执行如下
表数据重载 DDM跨region容灾场景下,通过数据复制服务(DRS)进行存储层数据迁移,迁移完成之后,目标DDM无法感知逻辑表信息所在位置,所以需要在目标DDM主动下发“表数据重载”,重新加载信息,跟分片建立联系。 操作步骤 登录分布式数据库中间件控制台。 在“实例管理”页面,选择目标实例。
DDM表数据重载 表1 DDM逻辑表管理 权限 对应API接口 授权项 IAM项目(Project) 企业项目 (Enterprise Rroject) DDM表数据重载 POST /v1/{project_id}/instances/{instance_id}/reload-config
备注 DB_ADDRESS 待导出数据的数据库连接地址。 必填 DB_PORT 数据库侦听端口 必填 DB_USER 数据库用户 必填 --skip-lock-tables 在不锁表的情况下导出数据。 某些参数会默认开启加锁声明,因此建议在数据导出语句末尾增加此参数。 --add-locks=false
有效的帮助用户低成本的存储海量数据。 高性价比数据库解决方案 政务机构、大型企业、银行等行业为了支持大规模数据存储和高并发数据库访问,传统方案需要强依赖小型机和高端存储等高成本的商业解决方案。DDM利用普通服务器进行集群部署,提供与传统商业解决方案相同甚至更高的处理能力。
简介 DDM兼容MySQL协议及其语法,但因分布式数据库与单机数据库之间存在一定的差异性,导致SQL使用存在些限制。 在评估DDM方案之前,请先完成当前应用中的SQL语法及与DDM支持语法的兼容性评估。 MySQL EXPLAIN 当您在需要执行的SQL语句前加上EXPLAIN,
迁移前,在DDM控制台先创建与旧RDS数据表结构相同的逻辑表。 约束限制 为了保持数据完整性,需要先停止旧RDS业务后再进行数据迁移。 该场景不支持通过DDM关联旧RDS实例进行数据关联,需要将旧RDS实例数据导出后再导入到DDM实例完成数据迁移。 目标DDM关联的RDS版本与旧RDS的MySQL版本需要保持一致。
迁移介绍 数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
数据库管理语法 支持的数据库管理语法 SHOW COLUMNS SHOW CREATE TABLE SHOW TABLE STATUS SHOW TABLES SHOW DATABASES 如果未搜索到对应的库,请先检查账号的细粒度权限。 SHOW INDEX FROM SHOW
通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM 方案概述 资源和成本规划 操作流程 源端RDS for MySQL准备 目标端DDM准备 创建VPN连接 创建DRS迁移任务 确认迁移执行结果
更过程中如果发生重试,可能导致数据增多。 解决方案:增加主键。 分片键不是主键的一部分可能导致逻辑表存在主键重复的数据(因为位于不同的物理分表内)。当数据需要重分布时,这类数据如果路由到同一物理表,由于主键相同,将只会保留一条,必定会导致迁移后的数据量和原来不一致,而导致分片变更失败。
场景四:从DDM实例导出数据 场景介绍 因为业务使用需要,将DDM实例的数据导出成SQL文本文件。 使用须知 本阶段会在一定程度上影响DDM实例以及RDS for MySQL实例性能,请选择在业务低峰时间导出。 请选择在大磁盘上进行mysqldump操作,保证磁盘空间充足。 在L
查看事件监控数据 操作场景 事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务,并在事件发生时进行告警。 事件监控默认开通,您可以在事件监控中查看系统事件和自定义事件的监控详情。 本章节指导用户查看事件监控的监控数据。 操作步骤
数据库账号权限说明 创建逻辑库、导入逻辑库、分片变更操作时,数据库账号需具备以下权限,建议您创建具备以下权限的账号或直接使用管理员账号进行相关操作。 SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, PROCESS, REFERENCES