检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移前,在DDM控制台先创建与旧RDS数据表结构相同的逻辑表。 约束限制 为了保持数据完整性,需要先停止旧RDS业务后再进行数据迁移。 该场景不支持通过DDM关联旧RDS实例进行数据关联,需要将旧RDS实例数据导出后再导入到DDM实例完成数据迁移。 目标DDM关联的RDS版本与旧RDS的MySQL版本需要保持一致。
键(包括拆分键的MySQL数据类型)共同定义。 当一张逻辑表的分库拆分方式与分表拆分方式不一致时,如果SQL查询没有同时带上分库条件与分表条件,则DDM在查询过程会产生全分库扫描或全分表扫描的操作。 DDL拆分函数的数据类型 DDM 的拆分函数对各数据类型对支持情况有所不同,下表显示了DDM
迁移介绍 数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
操作场景 本文将介绍如何获取弹性公网的IP地址,并通过Navicat客户端连接DDM实例。 Navicat客户端连接DDM实例 登录分布式数据库中间件服务,单击需要连接的DDM实例名称,进入实例基本信息页面。 在“实例信息”模块的弹性公网IP单击“绑定”。选择任意地址进行绑定。
create table中的unique key只能保证物理表内唯一,无法保证全局唯一。 不支持修改全局二级索引的字段。 索引 不支持全局唯一索引, unique key\primary key无法保证全局唯一。 不支持主键、拆分键等字段值超出数据范围。 使用全局二级索引时,需要设置sql
L版本一致。如果版本不一致,可能会影响数据导出性能。 查看导出SQL文本文件的大小,验证导出数据是否成功。 如大小不为0字节,说明导出成功。 如大小为0字节,说明导出失败,请联系DDM管理人员。 导入数据 开启应用程序访问DDM数据库只读开关。 清理目标DDM实例的测试数据,防止和待迁移数据冲突。
请求Body参数 参数 是否必选 参数类型 描述 read_weight 是 Map<String, Integer> 主数据库实例与只读数据库实例的读权重集合。 key:数据库实例ID。 value:读权重数。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 success
MySQL实例所在VPC的子网保持一致。 DRS迁移任务 迁移任务名 DRS-MySQLToDDM 自定义,易理解可识别。 源数据库引擎 MySQL 本示例中源数据库为MySQL,使用的华为云RDS实例。 目标数据库引擎 DDM 本示例中目标数据库为DDM。 网络类型 VPN网络
续费或充值,存储在云服务中的数据将被删除、云服务资源将被释放。请参见资源停止服务或逾期释放说明。 DDM资源为什么被冻结了? 资源冻结的类型有多种,最常见类型为欠费冻结。 单击了解资源冻结的类型、冻结后对续费、退订的影响。 实例被冻结了,还可以备份数据吗? 不支持,如果是欠费冻结
库时关联该RDS(MySQL)实例即可,不涉及表结构和表数据的迁移。 兼容性 检查源数据库和目标实例的MySQL版本号一致。 目标实例的实例规格和存储空间等原则上不低于源数据库。 检查源数据库和目标实例的表结构和字符集等一致。 “拆分算法”为“hash”的逻辑表单次迁移记录数不超
建议使用bigint型作为自增键的数据类型。tinyint、smallint、mediumint、integer、int数据类型不建议作为自增键的类型,容易越界造成值重复。 通过“show sequences”命令可查看自增序列的使用率。如果使用率已达到或接近100%,请不要再插入数据,联系DDM客服人员进行处理。
在SQL语句中对数字类型拆分键设置值时不要进行类型转换,类型转换可能造成路由计算失败后路由至默认分片,造成目标数据查询不到。 路由方式 实现原理同MOD_HASH算法一致,区别在于MOD_HASH_CI算法对大小写不敏感,而MOD_HASH算法对大小写敏感。 算法计算方式 方式一:拆分键是整型
如何选择数据节点RDS for MySQL的规格 数据节点RDS for MySQL的规格建议不小于DDM的规格,否则会产生木桶效应,影响性能。 示例: Q:例如DDM是8核16GB,那么RDS for MySQL的规格应该选多少?应该选择主备还是单机架构? A:根据最佳实践结果,一般建议DDM和RDS
某客户当前有DDM实例共4个节点,规格均为8U16GB,关联了6个数据节点(DN实例),数据量约12TB,1000亿条数据,7.3w张物理分表,业务量较大。 由于分片数变化就一定会引起数据重分布,需要迁移逻辑库的全部数据,而且每一条都需要经过重新路由,计算速度上会明显慢于分片数不变的
新/删除涉及的数据条数。建议先用select查出相应的数据,double check确保数据范围无误后再实行update/delete操作。 拆分字段更新 条数限制:DDM拆分字段更新有数据量限制,一般不能超过10000条数据,数据量越少越好。若超过10000条数据,建议用改重建
动备份,删除逻辑库、逻辑库分片变更后清理数据、删除实例等影响Metadata的重要操作也会触发元数据备份。 备份原理如图1所示。 图1 备份原理 元数据库是用来存放DDM实例信息以及下挂的数据节点信息,各区域的所有DDM实例共用一个元数据库。 父主题: 备份恢复
读。 为了确保数据一致性,切换过程中DDM服务会进行数据完整性校验,导致切换时间变长,具体时间由数据量大小决定,建议在业务低峰期操作。 分片变更结束后数据将会重新分布,确认完数据无误后可单击“清理”来清除原RDS for MySQL数据库实例的数据。 图9 清理数据 请仔细阅读弹
DDM逻辑库删除后,数据节点里面残留着部分预留的DDM数据库和一些DDM的账户,这些是否需要手动删除 如果某些DDM实例和账户不需要了,可以进行手动删除。 具体请参考删除实例和删除账号。 父主题: DDM使用类
同步DN信息主要用于数据节点相关信息变化时(如增删只读实例,变更连接地址/端口号,规格变更,删除数据节点等操作),将数据节点变化的信息同步到DDM实例上。 在数据节点相关信息变化时,需要用户主动通过同步DN信息将数据节点变化的信息同步到DDM,才能正常使用。 操作步骤 登录分布式数据库中间件控制台。
确认迁移执行结果 确认迁移结果可参考如下两种方式: DRS会针对迁移对象、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在DDM管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果