检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
冷数据访问和普通访问没有任何差异,对用户而言是完全透明的,在查询的过程中,系统会根据查询条件中的时间范围(TimeRange)自动地从热数据区或冷数据区查询数据。 原理简介 用户在RP中配置热数据的保存时长。
迁移原理 使用开源迁移工具data-migration-tools解析社区版InfluxDB的tsm以及wal文件写入到行协议(Line Protocal)文件中,最终将行协议文件数据解析并迁移至目标端。 整个迁移过程分为导出和导入阶段两个阶段。
本章节介绍AWS DynamoDB迁移至GeminiDB DynamoDB的场景。 迁移原理 本方案分为两个模块全量迁移和增量迁移,需要创建弹性云服务器作为数据中转。GeminiX工具具备分布式迁移的能力,支持多台机器并行迁移业务多张表。
本章节主要介绍LevelDB到GeminiDB Redis接口的迁移方案。 迁移原理 使用自研迁移工具leveldb-port,和LevelDB部署在相同机器上,准备好配置文件,启动迁移即可自动完成全量与增量的迁移。
图1 迁移原理 Pika-migrate的迁移原理和pika-port相似,将工具虚拟为pika的从库,然后从主库获取到数据转发给目标redis,同时支持增量同步,实现在线热迁的功能。
迁移原理 使用开源工具kvrocks2redis进行Kvrocks到GeminiDB Redis的迁移,在此基础上,从GeminiDB Redis源码层面对Kvrocks的namespace功能进行适配。
图2 原理图 预编译占位符在重复执行大量相同CQL,只是数据不一样的场景性能上有很大优势。 private static final String GET_TEST = "select * from test where k = ? and p = ?
迁移原理 使用腾讯云的数据迁移工具DTS中的数据同步功能,该功能支持将腾讯云 Redis服务的数据迁移至ECS自建Redis中,利用该工具避开腾讯云 Redis服务屏蔽分片实际IP,实现数据从腾讯云 Redis服务迁移至华为云GeminiDB Redis中。
方案优势 关于权限控制,开源Redis虽然在新版本有权限控制列表(Acess Control List,简称ACL),但只能设置为只读、读写权限,每个账号还是可以看到所有的DB,这个设计跟数据库多租户的原理背道而驰。
迁移原理 使用阿里云的数据迁移工具DTS中的数据迁移功能,该功能支持将阿里云Redis服务的数据迁移至其他Redis服务中,利用该工具避开阿里云 Redis服务屏蔽sync和psync命令限制,实现数据从阿里云Redis服务迁移至华为云GeminiDB Redis中。
备份任务无感,业务更平稳 GeminiDB Redis接口的PITR功能不涉及数据的复制,备份任务业务无感知,不影响数据访问,让客户业务更加平稳。 GeminiDB Redis接口快照原理是通过记录文件系统的状态来实现的,是瞬时生成,而不是通过复制文件本身来实现的。
扩容步长:当触发自动扩容的时候,自动扩容当前存储空间的百分比。若计算出的扩容大小非10的倍数,则向上取整至10的倍数。每次至少扩容100GB。 实例存储空间上限:需要大于等于实例购买的存储空间大小,且最大上限不能超过实例当前规格支持的最大存储容量。
因此我们提供了⼀套平滑的插入⽅案,其原理是,对于超⼤的初始数据,我们先将其拆分为较⼩的字串(例如1MB),然后⾸次插入仍然采⽤SET命令,然后通过⼀个GETBIT的只读命令将其转化为Bitmap类型,后续的字串,通过APPEND命令进⾏插入即可。
为了实现这个目标,我们提供了低成本并且小型的库,并将该库附加到DynamoDB SDK,其基本原理是在DynamoDB SDK发送请求前,拦截器会修改请求头中的目标地址为当前集群存活节点列表中的任意一个节点,从而达到负载均衡的目的。
如何在线弹性扩容,支持业务扩展 云数据库 GeminiDB云原生的计算存储分离架构,使得计算节点无状态,非常有利于业务扩展。 业务扩展面临计算节点、存储空间的两方面的扩容。 云数据库 GeminiDB共享存储,存储按需计费,一键扩容,不中断业务,最大支持96TB存储容量。
配置公网域名 本章节主要介绍配置公网域名及解析域名的方法。 华为云注册的域名 通过华为云的域名注册服务注册的域名无需添加,您可以直接在云解析服务的“域名列表”中查看注册的域名。 登录管理控制台。 在服务列表中,选择“网络 > 云解析服务 DNS”,进入“云解析”页面。
在弹出的“系统”窗口中,单击左侧导航栏中“高级系统设置”。 在弹出的“系统属性”窗口中,单击右下角的“环境变量”。 在弹出的“环境变量”窗口中的“系统变量”区域框中设置如下变量名和变量值。 变量名 操作 变量值 JAVA_HOME 若存在,则单击“编辑”。
添加节点 操作场景 随着业务数据的增加,原来申请的节点数量不能满足需求,这时,您可以为实例添加节点。添加成功后,您也可以根据需要删除节点,具体请参见删除节点。 使用须知 GeminiDB Mongo只支持4.0副本集实例添加节点,新增节点的角色为Readonly。
添加节点 操作场景 随着业务数据的增加,原来申请的节点数量不能满足需求,这时,您可以为实例添加节点。节点添加成功后,暂不支持删除。 使用须知 添加节点数会有短暂的OPS下降,建议业务空闲时添加。 实例状态为正常、恢复检查中时可以添加节点。 实例进行添加节点时,该实例不可被删除。
磁盘满设置只读 为保护GeminiDB Mongo实例的正常运行,在存储空间即将被写满的时候,数据库会被设置成磁盘满只读状态,该状态下只支持数据的读取,不支持写入和更新,可以通过扩容磁盘来解除该状态,重新获得写入和更新的能力。