检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
select操作 Order by 及 Limit函数 "order by limit offset, count"场景,禁止给offset赋大数值,即禁止深度翻页。
本实践端到端的数据为测试数据,仅供参考。 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
弹性云服务器(ECS) 成功购买DDM实例后,您需要通过弹性云服务器连接使用DDM实例。 云数据库服务(RDS) 购买DDM实例后,可以关联同一虚拟私有云中的RDS for MySQL实例,实现分布式数据库计算与存储。
可用区 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
鲲鹏通用计算增强型实例搭载鲲鹏920处理器及25GE智能高速网卡,提供强劲鲲鹏算力和高性能网络,更好满足政府、互联网等各类企业对云上业务高性价比、安全可靠等诉求。
本实践仅供参考,您需要根据自己业务场景、数据量、停机时间要求等情况,设计合适的迁移方案。 由于DDM仅支持通过弹性云服务器(ECS)访问,因此需要先将数据库导出为文件到ECS,然后从ECS将文件中的数据导入到DDM。
华为云上自建MySQL迁移到DDM 企业在华为云上自建MySQL数据库,希望能使用DDM将数据进行分布式存储。 本实践主要介绍将华为云上自建MySQL数据库中数据迁移到DDM的操作流程。
服务器集群管理对用户完全透明,用户通过DDM管理控制台进行数据库运维与数据读写,提供类似传统单机数据库的使用体验。 介绍视频 产品优势 自动分库分表 传统数据库通常是单机部署,一旦出现问题,数据可能全部丢失,故障影响面100%。
0~100% DDM节点 1分钟 ddm_node_status_alarm_code DDM节点连通性检测 该指标用于检测每个DDM节点是否在集群中不可用。其中,0表示可用,1表示不可用。
图解分布式数据库中间件DDM
由于DDM仅支持通过弹性云服务器(ECS)访问,因此需要先将数据库导出为文件并上传到ECS,然后从ECS将文件中的数据导入到DDM。 迁移方式 DDM支持如下两种方式进行数据迁移。 基于MySQL官方客户端工具,此部分以RDS for MySQL 为例重点介绍该迁移方式。
优化客户端大数据查询下,进程Kill场景下CPU使用率高。 3.0.4 修复问题 修复部分异常场景下的读写分离报错问题。 优化group_concat函数在数据量下的执行。
资源和成本规划 表1 资源规划 类别 子类 规划 备注 源端VPC VPC名称 vpc-DRSsrc 自定义,易理解可识别。 所属Region 华南-广州 选择和自己业务区最近的Region,减少网络时延。 可用区 可用区二 - 子网网段 10.0.0.0/24 子网选择时建议预留足够的网络资源
DDM如何进行分片 在分布式数据库中,可以通过分片存储方式,轻松解决大数据量单表容量达到单机数据库存储上限的瓶颈,因此创建逻辑库和逻辑表时,需要根据实际情况确定逻辑表是否进行分片以及逻辑表的分片规则。 分片存储后,需要尽量避免跨库JOIN操作带来的性能与资源消耗问题。 逻辑表是否分片
客户案例: 某客户当前有DDM实例共4个节点,规格均为8U16GB,关联了6个数据节点(DN实例),数据量约12TB,1000亿条数据,7.3w张物理分表,业务量较大。
购买实例并通过DAS连接DDM逻辑库 数据管理服务(Data Admin Service,简称DAS)是用来登录和操作华为云上数据库的Web服务,提供数据库开发、运维、智能诊断的一站式云上数据库管理平台,方便用户使用和运维数据库。
场景一:数据中心自建MySQL迁移到DDM 场景介绍 企业当前使用数据中心自建MySQL,希望能使用DDM将数据进行分布式存储。 迁移过程中可能会出现业务中断情况,中断时长与迁移数据量大小、网络情况相关。 迁移示意图 图1 数据中心自建MySQL迁移到DDM示意图 约束限制 目标DDM
导出数据 从源华为云上自建MySQL中将表数据导出到单独的SQL文本文件中。 停止华为云上自建MySQL的业务系统,否则可能会导致导出数据不是最新的。 导出华为云上自建MySQL的表数据至SQL文本文件。
图1 备份原理 元数据库是用来存放DDM实例信息以及下挂的数据节点信息,各区域的所有DDM实例共用一个元数据库。 父主题: 备份恢复
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。