检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过DDM对RDS for MySQL实例进行分库分表 方案概述 RDS for MySQL准备 DDM准备 创建DRS迁移任务
DDM逻辑表支持全局表、拆分表、单表三种类型。用户可以按照数据表的实际使用需求,选择最合适的逻辑表类型创建,实际操作请参考创建表。 单表只在第一个分片创建表以及存储数据。 全局表在每一个分片创建表并且存储全量数据。 拆分表在每一个分片创建表,数据按照拆分规则分散存储在分片中。 逻辑表的分片规则
需要关联的DDM账号。 选择数据节点 仅支持和当前DDM实例处于相同VPC、且未被其他DDM实例使用的数据节点。DDM将在选择的数据节点上新建数据库,不会影响数据节点上已有的库表。 逻辑库总分片数 逻辑库总分片数是所选数据节点分片数的总和,为了确保每个数据节点上都能均匀分配到分片,
创建逻辑库并关联RDS for MySQL实例 创建DDM账号 创建目标库表结构 创建目标端VPN 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
高危操作提示 在您使用DDM过程中,请不要进行以下高危操作: 为避免系统表、元数据等信息被误清理,用户尽量避免直连DN节点进行数据操作。 为避免元数据丢失,用户请不要清理DDM系统表(如:TBL_DRDS_TABLE、MYCAT_SEQUENCE)。 父主题: 使用限制
计算节点扩容 随着业务数据的增加,为了提高实例业务稳定性,您可对DDM实例节点进行扩容。 使用须知 计算节点扩容期间,服务不中断,不影响业务的正常运行。 请在业务低峰时间段进行节点扩容操作。 请确保实例关联的数据节点状态正常并且没有进行其他操作。 一个DDM实例最多支持32个节点。
不支持主键、拆分键等字段值超出数据范围。 使用全局二级索引时,需要设置sql_mode=STRICT_TRANS_TABLES。 表回收站 不支持hint。 不支持按逻辑库清除回收表。 不支持按逻辑表清除回收表。 表恢复后不保证全局唯一序列无缝衔接递增,只确保递增。 数据不支持分片变更。 不支持无限期保留副本。
DN管理介绍 DN管理提供数据节点管理服务,管理DDM实例关联的RDS for MySQL实例,展现实例的状态、存储、规格、读权重等信息,提供设置读权重、同步DN信息、开启读写分离的快捷操作。 表1 功能介绍 功能 使用场景 同步DN信息 主要用于数据节点相关信息变化时(如增删只
使用mysqldump从MySQL导出数据非常缓慢的原因 mysqldump客户端的版本和DDM所支持的MySQL版本不一致,可能会导致从MySQL导出数据非常缓慢。 建议版本保持一致。 父主题: DDM使用类
配额 操作场景 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 查看配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”,进入“服务配额”页面。
本章节主要介绍进行只读业务隔离的步骤。 使用须知 如需使用,内核版本请升级至2.4.1.2及以上版本。 通过只读组进行SQL查询时,请先确保当前关联的数据节点已经挂载了只读实例且正常运行。以下报错情况可能是因为没有挂载只读实例或者只读实例运行异常导致的: backend database connection
HASH算法 适用场景 适用于需要将数据均匀分布的场景对数据进行拆分的场景,在SQL查询条件中,使用“=”、“IN”之类运算符相对较多。 使用说明 拆分键的数据类型必须是整数类型(INT, INTEGER, BIGINT, MEDIUMINT, SMALLINT, TINYINT
迁移评估 数据库迁移上云前需要进行充分地评估和验证。 根据待迁移数据的现状和未来业务规模,分类进行评估和准备,详细信息如表1所示。 表1 迁移前评估和准备 评估项 说明 迁移数据量与DDM、RDS的实例规格 关于源数据库数据拆分,建议采用先垂直拆分,后水平拆分的方式。 对于源My
键(包括拆分键的MySQL数据类型)共同定义。 当一张逻辑表的分库拆分方式与分表拆分方式不一致时,如果SQL查询没有同时带上分库条件与分表条件,则DDM在查询过程会产生全分库扫描或全分表扫描的操作。 DDL拆分函数的数据类型 DDM 的拆分函数对各数据类型对支持情况有所不同,下表显示了DDM
DDM提供哪些高可靠保障 数据完整性 DDM实例故障不会影响数据的完整性。 业务数据存储在数据节点分片中,DDM不存储业务数据。 逻辑库与逻辑表等配置信息存储在DDM数据库中,DDM数据库主备高可用。 高可用机制 DDM采用多个无状态节点集群式部署模式,通过弹性负载均衡地址提供服务。
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL数据同步到DDM的主要任务流程如图1所示。 图1 流程图 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
确认迁移执行结果 确认迁移结果可参考如下两种方式: DRS会针对迁移对象、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在DDM管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果
一致性备份说明 DDM已在2022年2月底对一致性备份进行功能优化调整,将该功能调整成恢复数据中的“Metadata恢复”。在各个区域陆续进行,调整后一致性备份页签将会隐藏,已经创建的一致性备份将不可再用于恢复。 父主题: 备份恢复
DDM逻辑库删除后,数据节点里面残留着部分预留的DDM数据库和一些DDM的账户,这些是否需要手动删除 如果某些DDM实例和账户不需要了,可以进行手动删除。 具体请参考删除实例和删除账号。 父主题: DDM使用类
读。 为了确保数据一致性,切换过程中DDM服务会进行数据完整性校验,导致切换时间变长,具体时间由数据量大小决定,建议在业务低峰期操作。 分片变更结束后数据将会重新分布,确认完数据无误后可单击“清理”来清除原RDS for MySQL数据库实例的数据。 图9 清理数据 请仔细阅读弹