检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节主要介绍LevelDB到GeminiDB Redis接口的迁移方案。 迁移原理 使用自研迁移工具leveldb-port,和LevelDB部署在相同机器上,准备好配置文件,启动迁移即可自动完成全量与增量的迁移。 全量迁移对LevelDB数据进行快照,然后扫描整个数据库,将数据打包成GeminiDB
Redis接口的迁移方案。 迁移原理 使用开源工具kvrocks2redis进行Kvrocks到GeminiDB Redis的迁移,在此基础上,从GeminiDB Redis源码层面对Kvrocks的namespace功能进行适配。 迁移过程分为全量和增量两个阶段:迁移开始后,先进行
迁移后Redis数据一致性校验 迁移完成后,您可以对Redis数据做一致性校验。 使用须知 Redis迁移已完成或者已经进入增量状态。 需要ECS实例部署Redis-Full-Check开源工具,并确保与源端、目标端网络互通。 如果迁移任务处于增量状态,由于迁移源端和目标端间存在
迁移完成后数据量变少了,100GB的数据迁移到GeminiDB Redis只有20-30GB,数据是不是没迁移完? GeminiDB Redis具有4:1超高数据压缩,现网多个用户数据迁移完都符合此规律。用户可以进行数据一致性校验,判断是否迁移完成:比如key的数量、key抽样校验等。
系统架构 架构介绍 云数据库 GeminiDB是一款基于计算存储分离架构的分布式数据库,由多个同构节点组成计算集群。数据存储在分布式共享存储池中。计算和存储资源解耦,支持独立弹性伸缩,扩缩容无数据迁移。 图1 系统架构 更多架构特点请参见系统架构。
Redis的迁移 迁移原理 AWS ElasticCache for Redis通过备份导出RDB文件后,通过Redis-Shake迁移工具的数据恢复(restore)将数据迁移到GeminiDB Redis。 使用须知 AWS不支持psync/sync命令,无法增量迁出。 迁移前确保
mongodump和mongorestore工具仅支持全量数据迁移。为保障数据一致性,迁移操作开始前请停止源数据库的相关业务,并停止数据写入。 建议您尽量选择在业务低峰期迁移数据,避免在迁移过程中对业务造成影响。 不支持迁移系统库admin和local。 确保源库中系统库admin和local没有创建业务
同步状态正向迁移速度太慢 修改redis-shake参数source.rdb.parallel,可调整迁移并发度,默认为0,按db和分片数确定。 父主题: 数据迁移
自建Redis主备、集群实例如何迁移到GeminiDB Redis? 在线迁移可以使用DRS服务进行迁移: 单机Redis迁移至GeminiDB Redis主备操作请参考将Redis迁移到GeminiDB Redis。 集群Redis迁移至GeminiDB Redis集群操作请参
本章节主要介绍RocksDB到GeminiDB Redis接口的迁移方案。 迁移原理 使用自研迁移工具rocksdb-port,和RocksDB部署在相同机器上,准备好配置文件,启动迁移即可自动完成全量与增量的迁移。 全量迁移对RocksDB数据进行快照,然后扫描整个数据库,将数据打包成GeminiDB
DynamoDB迁移至GeminiDB (兼容DynamoDB API)的场景。 迁移原理 本方案分为两个模块全量迁移和增量迁移,需要创建弹性云服务器作为数据中转。GeminiX工具具备分布式迁移的能力,支持多台机器并行迁移业务多张表。 全量迁移阶段首先将DynamoDB提供的Scan接口将全
4.0、5.0以及6.2版本的自建Redis能迁移至GeminiDB Redis吗? GeminiDB Redis同时兼容6.2(包含6.2.x)及其以下版本,如5.0、4.0、2.8。 父主题: 数据迁移
自建主备Redis,迁移到GeminiDB Redis集群,需要考虑哪些因素? GeminiDB Redis集群为Proxy集群,支持以单机、主备的方式直接访问,无需修改。对于多key操作,Redis主备和集群用法不一样,若涉及多key命令,则需要业务修改。 自建Redis单机、
同步状态正向迁移速度太快,报错:ERR server reply timeout, some responses may lose, but requests have been executed 修改参数parallel,可调整全量过程传输RDB的并发度,默认为32。 父主题:
DRS上找不到GeminiDB Redis链路 当前DRS中GeminiDB Redis入云链路采用白名单机制,需要提工单联系DRS同事开通。 您可以在管理控制台右上角,选择“工单 > 新建工单”,联系客服进行开通。 父主题: 数据迁移
据量比较大时需要调小,单行数据量比较小时可以适当增大该值。该值的最佳效果还取决于执行机批量本地写的能力,如果批量本地写能力很强(如使用华为云obsfs),可适当增大。 TO PAGETIMEOUT 页面超时以获取结果。 10 取值为整数,表示获取每个页面的超时(以秒为单位),默认为10秒。
iDB Redis(推荐) 操作场景 当前GeminiDB Redis支持将其他云厂商Redis、自建Redis的数据通过GeminiDB控制台导入到GeminiDB Redis。 您需要先将其他云厂商Redis、自建Redis的数据备份下载到本地,然后将备份数据文件上传与GeminiDB
full, and the request cannot be excecuted 迁移流量过大导致内部队列满,您可以在管理控制台右上角,选择“工单 > 新建工单”,联系客服进行处理。 父主题: 数据迁移
使用GeminiDB Mongo时要注意什么 实例的操作系统,对用户都不可见,这意味着,只允许用户应用程序访问数据库对应的IP地址和端口。 对象存储服务(Object Storage Service,简称OBS)上的备份文件以及云数据库 GeminiDB使用的系统容器,都对用户不可见,它们只对GeminiDB
full, and the request cannot be excecuted 迁移流量过大导致内部队列满,您可以在管理控制台右上角,选择“工单 > 新建工单”,联系客服进行处理。 父主题: 数据迁移