检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用mysqldump从MySQL导出数据非常缓慢的原因 mysqldump客户端的版本和DDM所支持的MySQL版本不一致,可能会导致从MySQL导出数据非常缓慢。 建议版本保持一致。 父主题: DDM使用类
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例并构造测试数据。 创建实例 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。
B。 - --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。 - --complete-insert 使用完整的insert语句(包含列名称)。 - --set-gtid-purged=OFF 如果使用的MySQL版本为8.0或5.7,则需要配置该参数。
不缓冲查询,直接导出到标准输出。 避免大数据情况内存暴涨。 --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。 - --no-create-info 只导出数据,而不添加CREATE TABLE 语句。 导出数据时使用。 --skip-comments 关闭附加注释信息。
DDM使用类 DDM如何进行分片 如何解决JDBC驱动方式连接DDM异常问题 使用mysqldump从MySQL导出数据非常缓慢的原因 导入数据到DDM过程中出现主键重复 如何处理数据迁移过程中自增列报错:主键重复 如何处理配置参数未超时却报错 如何处理DDM逻辑库与RDS实例的先后关系
使用限制 网络访问使用限制 DN实例使用限制 不支持的特性和使用限制 高危操作提示
不缓冲查询,直接导出到标准输出。 避免大数据情况内存暴涨。 --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。 - --no-create-info 只导出数据,而不添加CREATE TABLE 语句。 导出数据时使用。 --skip-comments 关闭附加注释信息。
通过DDM对RDS for MySQL实例进行分库分表 方案概述 RDS for MySQL准备 DDM准备 创建DRS迁移任务
源端RDS for MySQL准备 创建源端VPC和安全组 创建RDS for MySQL实例 创建源端VPN 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
RDS for MySQL准备 此操作默认新的RDS for MySQL实例已创建成功。如需创建实例,请参考购买RDS for MySQL实例。 父主题: 通过DDM对RDS for MySQL实例进行分库分表
数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
size过大可能造成性能下降。如无特殊需求,建议batch size不超过1000。 拆分字段的值:不建议使用函数、表达式、子查询等,推荐使用常量值。 普通字段的值:不建议使用子查询,推荐使用常量、函数、表达式。 大批量数据导入 推荐使用loaddata local infile来实现大批量数据导入。 这个地方
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
DN实例使用限制 在使用DDM过程中,对于DN实例存在一些使用限制。 仅支持5.7及8.0系列版本的RDS for MySQL实例,不支持Serverless类型和容器类型。 不支持GaussDB(for MySQL)实例和云耀数据库实例。 DDM暂不支持MySQL实例配置SSL连接。
BY后的asc/desc关键字。MySQL 8.0.13以下版本支持GROUP BY后添加asc/desc函数来实现排序语义,8.0.13及以上版本已废弃该用法,使用时会报语法错误。推荐使用ORDER BY语句来保证排序语义。 REPEAT函数结果长度最大限制为1000000(适用于3.0.9版本及以上)。 权限级别支持情况:
网络访问使用限制 在使用DDM过程中,对于网络访问存在一些使用限制。 用户购买的数据节点、部署应用程序的ECS、DDM实例必须属于同一个VPC。 当用户需要在自己电脑访问DDM服务时,需要为DDM开通EIP服务,然后通过EIP访问DDM。 父主题: 使用限制
BY、 LIMIT)。 广播表 由于DDM的广播表机制是statement级别广播,如果使用运行结果不确定的函数,会造成广播表每个分片的数据不一致,请不要在广播表场景中使用这些函数。如果SQL中使用了这些函数,需要计算好,再以常量形式运用到广播表的操作中。运行结果不确定的函数包括但不限于以下函数:
高危操作提示 在您使用DDM过程中,请不要进行以下高危操作: 为避免系统表、元数据等信息被误清理,用户尽量避免直连DN节点进行数据操作。 为避免元数据丢失,用户请不要清理DDM系统表(如:TBL_DRDS_TABLE、MYCAT_SEQUENCE)。 父主题: 使用限制
拆分算法使用说明 MOD_HASH算法 MOD_HASH_CI算法 RIGHT_SHIFT算法 MM按月份哈希 DD按日期哈希 WEEK按星期哈希 MMDD按月日哈希 YYYYMM按年月哈希 YYYYDD按年日哈希 YYYYWEEK按年周哈希 HASH算法 Range算法 父主题:
分片存储后,需要尽量避免跨库JOIN操作带来的性能与资源消耗问题。 逻辑表是否分片 DDM逻辑表支持全局表、拆分表、单表三种类型。用户可以按照数据表的实际使用需求,选择最合适的逻辑表类型创建,实际操作请参考创建表。 单表只在第一个分片创建表以及存储数据。 全局表在每一个分片创建表并且存储全量数据。