检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对广播表的查询,仅在一个分片中执行。 任何表都可以与广播表进行关联操作。 使用广播HINT的前提是需要确保表的存在性。 例如: 电商企业的订单管理系统,需要查询并统计某个地区的订单数据。这种场景会涉及到地区表与订单流水表进行关联查询,由于订单数据量庞大,订单流水表需要分片存储,因此可以考虑将地区表设计为“广播表”,提高查询效率。
创建逻辑库并关联数据节点 分布式数据库中间件 DDM 访问DDM实例 03:44 访问DDM实例 分布式数据库中间件 DDM 创建逻辑库和逻辑表 03:13 创建逻辑库和逻辑表 分布式数据库中间件 DDM 申请DDM实例并导入RDS实例 03:03 申请DDM实例并导入RDS实例 分布式数据库中间件
DDM表数据重载 功能介绍 DDM实例跨region容灾场景下,针对目标DDM实例实现表数据reload,使数据同步。 接口约束 无。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
创建表 禁止创建表名以"_ddm"为前缀的表,系统默认认定此类表为系统内部表。 拆分表不支持全局唯一索引,当唯一键和拆分键不一致时,不能保证数据的唯一性。 建议使用bigint型作为自增键的数据类型。tinyint、smallint、mediumint、integer、int数据
表数据重载 DDM跨region容灾场景下,通过数据复制服务(DRS)进行存储层数据迁移,迁移完成之后,目标DDM无法感知逻辑表信息所在位置,所以需要在目标DDM主动下发“表数据重载”,重新加载信息,跟分片建立联系。 操作步骤 登录分布式数据库中间件控制台。 在“实例管理”页面,选择目标实例。
通过DDM对RDS for MySQL实例进行分库分表 方案概述 RDS for MySQL准备 DDM准备 创建DRS迁移任务
检查当前逻辑库下所有逻辑表各分表的DDL一致性 用途:用于对某逻辑库所有的逻辑表的一致性情况进行全局概览。 命令格式: check table 命令输出: 如果全部逻辑表都一致, 输出结果为: 如果存在不一致的逻辑表, 输出结果为: 输出详解: 每一行表示一个逻辑表的检查结果概况。 DATABASE_NAME:逻辑库名称。
Mycat导出表结构和表数据。 连接目标DDM关联的RDS将数据导入至目标DDM(非拆分表场景)。 拆分表:分片规则为hash类(含年月日等日期类) 拆分表:拆分算法为hash(含日期函数) Mycat导出全部数据表结构。 对照导出的表结构,在DDM控制台创建表结构完全相同的表。 从Mycat整库导出数据。
DDM是否支持分布式JOIN DDM支持分布式JOIN。 表设计时,增加字段冗余 支持跨分片的JOIN,主要实现的方式有三种:广播表,ER分片和ShareJoin。 DDM目前禁止多个表的跨库update和delete。 父主题: SQL语法类
每一行表示一个不一致的物理拆分表的详细检查结果。 DATABASE_NAME:物理表所在的物理分库。 TABLE_NAME:物理表表的表名。 TABLE_TYPE:物理表所属逻辑表类型。 EXTRA_COLUMNS:该物理表多出来的列。 MISSING_COLUMNS:表示该物理表缺少的列。
例如:2019-1-15,当根据分库键确定分库后,确定分表的计算方式是:月份mod分表数,即:1 mod 12 = 1。 算法计算方式 表1 算法举例 条件 算法 举例 无 分表路由结果 = 分表拆分键值 % 分表数 分表拆分键值 :2019-1-15 分表:1 % 12 = 1 建表语法 create table
修改DDM已关联的数据库实例的读策略 功能介绍 修改DDM已关联的数据库实例的读策略。 接口约束 请确保实例关联的RDS状态正常并且没有进行其他操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
创建DDM逻辑库时使用的账号,需具备读写权限。 DB_NAME 待导入数据的DDM逻辑库名称。 - mysql_schema.sql 待导入结构文件的名称。 即导出数据中2导出的文件名称。 mysql_data.sql 待导入整库数据文件的名称。 即导出数据中3导出的文件名称。 执行如下命令,将数据文件导入DDM。
DDM事务模型 因为DDM中的表一般都做了分库分表,使得这些表中的数据可能分布在很多个RDS实例上的不同数据库分片内。在DDM中一个事务中对各个逻辑表的增删改查很有可能实际发生在多个RDS实例上的不同数据库分片上,每个RDS实例上同一数据库分片内所发生的对分片内数据表的一系列操作相当于一
{TABLE_NAME}查看自建MySQL中数据表结构。 表2 表迁移策略 逻辑库类型 逻辑表类型 表结构迁移策略 表数据迁移策略 拆分 拆分表 在原表结构基础上增加拆分键声明(详见建表语句说明文档),形成适用于DDM的建表语句,连接DDM并登录对应逻辑库后执行。 通过DDM导入源表数据。 拆分 广播表 在原表结
DDM逻辑表支持全局表、拆分表、单表三种类型。用户可以按照数据表的实际使用需求,选择最合适的逻辑表类型创建,实际操作请参考创建表。 单表只在第一个分片创建表以及存储数据。 全局表在每一个分片创建表并且存储全量数据。 拆分表在每一个分片创建表,数据按照拆分规则分散存储在分片中。 逻辑表的分片规则 逻辑
建议对数据行数超过1000万行(或者预计超过1000万行)的表进行分片,设计为拆分表。 单RDS实例存储不超过500GB。 源数据库每张表对应逻辑库和逻辑表信息 以表为单位,细化每张源表映射对应逻辑表信息,如记录数、逻辑表类型、所属逻辑库、所属DDM实例和关联RDS实例等。 如果
本实践主要介绍如何通过数据复制服务(DRS)将不同Region的RDS for MySQL的数据迁移到DDM实例单库中,包含了如何在华为云创建RDS for MySQL、DDM实例,如何通过VPN网络进行数据迁移等内容。 前提条件 拥有华为账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 虚拟专用网络VPN
Service,简称DRS)服务。 迁移须知 迁移过程中可能会出现业务中断情况,中断时长与迁移数据量大小、网络情况相关。 数据迁移是一项比较复杂的操作,建议在业务量较低时进行。本指南仅供参考,您需要根据自己业务场景、数据量、停机时间要求等情况,设计合适的迁移方案。 对于数据表和数据量较大的场景,建议您在管理控制
规格变更,删除数据节点等操作),将数据节点变化的信息同步到DDM实例上。 在数据节点相关信息变化时,需要用户主动通过同步DN信息将数据节点变化的信息同步到DDM,才能正常使用。 操作步骤 登录分布式数据库中间件控制台。 在实例管理列表页面,选择目标实例。 单击实例名称,进入基本信息页面。