检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Influx相较于社区版本InfluxDB,有更强的查询、写入以及数据压缩的性能。 本章节主要介绍社区版InfluxDB到GeminiDB Influx的迁移方案。 迁移原理 使用开源迁移工具data-migration-tools解析社区版InfluxDB的tsm以及wal文件写入到行协议(Line Prot
B Redis的迁移方案。 迁移原理 使用Redis-Shake迁移工具进行源端Redis到目标端GeminiDB Redis的迁移。迁移过程支持全量+增量迁移,支持单机/主从/Cluster集群/RDB文件等多种Redis数据源。 全量迁移原理:工具模拟源端Redis的从节点,
平滑,为LevelDB业务转到Redis生态提供了便利。 本章节主要介绍LevelDB到GeminiDB Redis接口的迁移方案。 迁移原理 使用自研迁移工具leveldb-port,和LevelDB部署在相同机器上,准备好配置文件,启动迁移即可自动完成全量与增量的迁移。 全量
(兼容DynamoDB API)的自动化工具。本章节介绍AWS DynamoDB迁移至GeminiDB (兼容DynamoDB API)的场景。 迁移原理 本方案分为两个模块全量迁移和增量迁移,需要创建弹性云服务器作为数据中转。GeminiX工具具备分布式迁移的能力,支持多台机器并行迁移业务多张表。
创建容灾实例 主实例支持搭建主备高可用架构,当主实例发生突发性自然灾害等状况,主实例节点无法连接时,可将容灾实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 使用须知 一个主实例只可创建一个容灾实例。 该功能目前为公测阶段,如需使用,您可以在管理控制台右上角,选择“工单
(Acess Control List,简称ACL),但只能设置为只读、读写权限,每个账号还是可以看到所有的DB,这个设计跟数据库多租户的原理背道而驰。例如,业务开发小王应该用DB1,但有天不小心清库了小张的DB0,导致发生生产事故。而GeminiDB Redis的权限隔离就可以
Redis接口的PITR功能不涉及数据的复制,备份任务业务无感知,不影响数据访问,让客户业务更加平稳。 GeminiDB Redis接口快照原理是通过记录文件系统的状态来实现的,是瞬时生成,而不是通过复制文件本身来实现的。快照存储当前时刻的底层数据的元数据信息,比如数据块信息、寻址
AWS ElasticCache for Redis数据库到GeminiDB Redis的迁移 迁移原理 AWS ElasticCache for Redis通过备份导出RDB文件后,通过Redis-Shake迁移工具的数据恢复(restore)将数据迁移到GeminiDB Redis。
同时,还能克服管理能力弱、对Redis兼容度不高等缺点。 本章节主要介绍Kvrocks到GeminiDB Redis接口的迁移方案。 迁移原理 使用开源工具kvrocks2redis进行Kvrocks到GeminiDB Redis的迁移,在此基础上,从GeminiDB Redis
基本设计规范 设计规范 规则1:禁止在数据库中存储图片、文件等大数据。图片或文件等大数据建议存储到对象存储服务中。 规则2:单行key和value数据大小最大不能超过64KB,平均大小不超过10KB。 规则3:任何表的设计都要考虑到数据的删除策略,表中的数据不能无限地增长而不删除。
MB,如果直接使用SET命令插入GeminiDB Redis,会执⾏较⻓时间,并且对其它正常访问产⽣⼲扰,造成时延抖动。 因此我们提供了⼀套平滑的插入⽅案,其原理是,对于超⼤的初始数据,我们先将其拆分为较⼩的字串(例如1MB),然后⾸次插入仍然采⽤SET命令,然后通过⼀个GETBIT的只读命令将其转
数据库性能 业务禁止出现任何全表扫描的查询。 执行查询时,只选择需要返回的字段,不需要的字段不要返回。从而减少网络和进程处理的负载,修改数据时,只修改变化需要修改的字段,不要整个对象直接存储全部修改。 避免使用$not。GeminiDB Mongo并不会对缺失的数据进行索引,因此
自建开源方案通常采用混合部署方案,带宽严格限制,尤其小规格容易触发流控。 最高支持10Gbit/s,无惧业务高峰 采用独立容器部署方案,实例ELB最大带宽支持10Gbit/s。 扩容对业务的影响 耗时从数分钟到数小时不等,对业务影响大 增加节点会涉及数据搬迁,对业务的影响是从数分钟到数小时不等。
如何检测和解决大key与热key问题 Cassandra数据库是一个高度可扩展的高性能分布式数据库,面向大数据场景,可用于管理大量的结构化数据。在业务使用的过程中,随着业务量和数据流量的持续增长,往往一些业务的设计弊端逐渐暴露出来,降低了集群的稳定性和可用性。比如主键设计不合理,
测试数据 不同测试模型下,不同规格且预置相当数据量,测试的OPS*数据(表格中黑色字体),详见表1 测试数据中加粗内容。 表1 测试数据 节点规格 4U16GB 8U32GB 16U64GB 32U128GB 预置数据量 200GB 500GB 1000GB 2000GB 测试模型编号
性能测试数据 不同测试模型下,不同规格且预置相当数据量,测试的OPS*数据(表格中黑色字体),详见表1 测试数据中加粗内容。 表1 测试数据 节点规格 4U16GB 8U32GB 16U64GB 32U128GB 客户端并发数 32 64 128 256 预置数据量 50GB 100GB
缩小batch大小后,QPS上升,实例总体性能为什么会下降 问题现象 用户原来的batch_size设置的是100,单行大概为400Byte。由于batch_size达到5KB后会触发告警,所以修改batch_size为10。但是为了保证总体写入性能,QPS会达到原来的10倍,然而实际修改后总体性能却出现下降。
故障恢复 GeminiDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期(1~35天)保存数据库实例的自动备份。 GeminiDB Redis提供了恢复实例数据的方法,具体请参见恢复备份到新实例。 GeminiDB Influx提供了恢复实例数据的方法,具体请参见恢复备份到新实例。
GeminiDB Redis规格变更包含的在线变更和离线变更有什么区别,通常需要多长时间,对业务有哪些影响? 在线变更:变更过程中,节点依次滚动变更,变更时长跟节点数正相关,每个节点约需5~10分钟。除此之外,主备和集群实例都包含3个内部管理节点,会同时进行变更。例如一个GeminiDB
GeminiDB Redis客户端重试指南 Redis客户端设置重试机制可以在网络不稳定或服务器临时故障的情况下,尽量保持应用程序的高可用性和稳定性。 GeminiDB Redis可能会遇到如下一些临时性故障场景 原因 说明 触发高可用机制的场景 GeminiDB Redis支持