检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此处举例的参数为数据导出中常用的参数,由于mysqldump参数无法逐一列举,如果存在个别参数调优等特殊情况,请在MySQL官网查询。 使用mysqldump工具进行转移mysql数据时,请保持MySQL客户端版本和DDM所支持的MySQL版本一致。如果版本不一致,可能会影响数据导出性能。 查看导出SQL文本文件的大小,验证导出数据是否成功。
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL数据同步到DDM的主要任务流程如图1所示。 图1 流程图 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
DRS会针对迁移对象、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在DDM管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。
对端网关和对端子网为目标端VPN的网关名称和子网,参考创建目标端VPN中创建的VPN信息进行填写。 单击“立即购买”,核对VPN连接信息后单击“提交”完成支付。 配置完成后,即可在列表中查看VPN信息,此时VPN网关的状态为“正常”。 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
图1 分片平移示意图 分片个数变更:逻辑库对应的物理库分片可以根据用户需要自定义添加,单数据节点上的物理分片数不超过64个。如果因业务需要分片数超过64,请联系DDM技术人员。DDM会尽量将分片均匀分配到数据节点上,只要总分片数有变化,数据都会进行重分布。 图2 分片变更示意图
即对端VPN的网关,此处为源端VPN的网关地址,创建源端VPN完成后获取网关信息。 远端子网 10.0.0.0/24 即对端VPN的子网,此处为源端VPN的子网,与源端RDS for MySQL实例所在VPC的子网保持一致。 DRS迁移任务 迁移任务名 DRS-MySQLToDDM
for MySQL数据库中的表在DDM实例中重新创建,根据表的性质可选择创建为广播表、单表、拆分表。广播表和单表的使用场景请参考广播表和单表的使用场景。 图1 原数据库表 图2 address_test表数据 图3 user_test表数据 执行以下命令,将源数据库中的“user
创建目标端VPC和安全组 创建DDM实例 创建RDS for MySQL实例 创建逻辑库并关联RDS for MySQL实例 创建DDM账号 创建目标库表结构 创建目标端VPN 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
迁移介绍 数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
本文将介绍如何通过DDM对已有RDS for MySQL实例进行分库分表。 操作流程 图1 流程图 前提条件 拥有华为账号。 新的RDS for MySQL实例已创建成功。 源RDS for MySQL实例与目标DDM实例、新RDS for MySQL实例必须处于相同VPC,且安全组配置相同。
账号权限介绍 DDM的权限管理系统参考MySQL的权限管理进行实现,DDM支持大部分的MySQL的语法和权限类型。MySQL账号和权限系统的详细信息请参见MySQL官方文档。 本文档主要介绍DDM账号规则、权限级别、权限项、以及权限操作。 DDM里通过CREATE USER或GR
单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击页面右上方的“购买数据库中间件实例”。 按需设置实例相关信息和规格,相关参数说明请参见创建DDM实例。 选择实例所属的VPC和安全组、配置数据库端口。
通过DDM对RDS for MySQL实例进行分库分表 方案概述 RDS for MySQL准备 DDM准备 创建DRS迁移任务
创建目标库表结构 DRS目前仅支持迁移源端MySQL的数据到目标DDM,不支持迁移源库表结构及其他数据库对象。用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行迁移。更对约束限制可参考使用须知。 操作步骤 登录华为云控制台。
无法带上拆分字段的场景,建议控制并发度,控制更新/删除涉及的数据条数。建议先用select查出相应的数据,double check确保数据范围无误后再实行update/delete操作。 拆分字段更新 条数限制:DDM拆分字段更新有数据量限制,一般不能超过10000条数据,数据量越少越好
条件,则DDM在查询过程会产生全分库扫描或全分表扫描的操作。 DDL拆分函数的数据类型 DDM 的拆分函数对各数据类型对支持情况有所不同,下表显示了DDM 拆分函数对各种数据类型的支持情况。 表2 DDM 拆分函数对各种数据类型的支持情况 拆分算法 TINYINT SMALLINT
创建DDM账号 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击实例实例名称,进入实例基本信息页面。 在左侧导航栏选择“账号管理”,进入账号管理页面。
DDM准备 创建DDM实例 创建逻辑库并关联RDS for MySQL实例 创建DDM账号 创建目标库表结构 父主题: 通过DDM对RDS for MySQL实例进行分库分表
填写实例迁移信息,更多参数的说明请参见MySQL迁移至DDM参数说明。 数据流动方向选择“入云”。 源数据库引擎选择“MySQL”。 目标数据库引擎选择“DDM”。 网络类型根据实际情况选择。 目标数据库实例选择创建DDM实例中购买成功的DDM实例。 迁移模式可根据您的业务情况选择“全量+增量”或者是“全量”。
登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 进入虚拟私有云信息页面。 单击“创建虚拟私有云”,购买VPC,更多参数的说明请参见创建虚拟私有云。 单击“立即创建”。 返回VPC列表,查看创建VPC是否创建完成。