检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TRING数据,进⽽在某些场景下出现⼤KEY的性能问题。GeminiDB Redis的Bitmap类型采⽤的是特殊编码的格式,内部采⽤分片算法,可以规避产⽣⼀个超⼤的STRING数据,并且可以⽀持更⾼效的随机位数的插入和删除操作。 但是,实际应⽤场景中,我们可能会从其它地⽅获取⼀
TB级特征数据极速导入到GeminiDB,比社区Redis逐条命令方案提速10倍。 Hash Field过期:支持为Hash Key设置field自动过期时间,在频控、算法等业务中可发挥巨大价值。 车联网 在车联网中,数据的流动与车机数据的存储等业务特点对Redis数据库有高可靠的要求,GeminiDB具备以下优势:
的数据可靠性。 云数据库 GeminiDB基于DFV存储,底层采取Append Only方式存储,并在该基础上结合数据库逻辑进行分布式并行算法优化,极大地提升了数据备份、恢复性能。 DFV(Data Function Virtualization)是一个与数据库垂直整合的高性能,
Cassandra是一款分布式、去中心化、高可用的列存储(Wide Column Store)的NoSQL数据库。分布式层面主要依靠一致性Hash算法把数据分布在整个集群中。 集群中的每个节点将整个Hash范围均匀地分担,每个节点即当做proxy节点,接受client的请求,也负责集群的Primary
撑业务的实时查询分析诉求。 高压缩率 传统HBase:只能按列族设置压缩算法,且仅支持Gzip,SNAPPY,LZO,LZ4四种压缩算法。 GeminiDB Influx:针对每列的数据类型选用不同的压缩算法,支持Simple8b,Delta,Delta-Of-Delta,RLE,Zigzag
/写访问,支持算力水平和垂直扩展,能够轻松应对业务规模和数据量的爆炸式增长。 通过采用多线程架构和高性能存储池,配合内存数据结构和访问算法的深度优化,GeminiDB Redis能够实现亚毫秒级的数据请求响应。这种超低时延的性能,对需要实时数据处理和分析的应用场景,如在线游戏、金
IP地址和端口。 GeminiDB Redis支持与限制的命令,详情请参见开发运维规范。 由于GeminiDB Redis和开源Redis集群计算hash算法不同,因此GeminiDB Redis的部分命令需要给对应的key打上hash tag,否则会出现非预期的行为。hash tag使用建议参考开发运维规范。
Redis接口采用RocksDB作为存储引擎,兼容Redis协议具有丰富的数据类型,可以满足RocksDB的使用需求。同时GeminiDB Redis接口对RocksDB进行深度定制,实现秒级分裂弹性扩容,扩缩容无需搬迁数据,快速而平滑,为RocksDB业务转到Redis生态提供了便利。 本章节主要介绍RocksDB到GeminiDB
擎,兼容Redis协议,具有丰富的数据类型,可以满足LevelDB的使用需求。同时GeminiDB Redis接口接口对RocksDB进行深度定制,实现秒级分裂弹性扩容,扩缩容无需搬迁数据,快速而平滑,为LevelDB业务转到Redis生态提供了便利。 本章节主要介绍LevelDB到GeminiDB
开启SSL后,可以通过SSL方式连接数据库,具有更高的安全性。 出于安全原因,不安全的加密算法已被禁用。GeminiDB Mongo支持的安全加密算法对应的加密套件如表1所示。 表1 安全加密算法对应的加密套件说明 版本 支持的TLS版本 支持的加密算法套件 4.0 TLS 1.2 DHE-RSA-AES256-GCM-SHA384
IP地址和端口。 GeminiDB Redis支持与限制的命令,详情请参见开发运维规范。 由于GeminiDB Redis和开源Redis集群计算hash算法不同,因此GeminiDB Redis的部分命令需要给对应的key打上hash tag,否则会出现非预期的行为。hash tag使用建议参考开发运维规范。
键的第一列。 如果有类似的情况无法避免,可以利用Hash算法进行打散。例如: 假设原始主键pk是递增的字符串,可以设定新主键pk1 = hash(pk).substring(0,4)+pk,即选取原始主键pk经过Hash算法计算后的结果前4位作为前缀,拼接原始主键pk,最终形成新的主键pk1。
该方案相对于Hash类型的优化主要体现在可以直接为各field设置过期时间,使业务侧使用起来简单又高效。可以看到exHash类型相关的命令和Hash类型是类似的,使用起来学习成本很低,业务侧改造成本相对也比较低。 广告频控业务代码示例 import redis import datetime import os
Redis接口实现了冷热分离,解决了缓存(cache)与数据库(Data Base,DB)之间交互访问的问题,提高了程序可读性与程序运行效率。同时对RocksDB进行深度定制,实现秒级分裂弹性扩容,扩缩容无需搬迁数据,快速而平滑。通过proxy代理,使上层业务可以不感知内核处理扩缩容过程中的数据迁移。 本章节主要介绍Pika到GeminiDB
且最高每天处理万亿级时间点写入。 灵活弹性 计算独立按需扩展、扩容不迁移数据,分钟级完成集群节点扩缩容。 高压缩率 列式存储布局和专用压缩算法,相比开源版本压缩率可以提升5~10倍左右。 高查询性能 多节点多线程并行查询,可高效处理高并发大数据量分析任务。 典型应用 IoT传感器时序数据分析
能提供的查询功能较为局限。 Lucene搜索索引架构 关键技术点: 内嵌Lucene搜索引擎,与存储引擎搭配,实现宽表存储引擎与搜索引擎的深度融合; SQL层统一融合,在兼容原生Cassandra语法基础上,提供多维查询、文本检索、模糊查询、统计分析等能力,全面提升用户在海量数据场景下的查询体验。
SplitKey:创表同时指定。 是 Region:自动分裂。 是 Disable/Delete:禁用/删表。 是 Compress:指定压缩算法(已自带数据压缩)。 否 Alter Table:增加ColumnFamily。 是 Alter Table:减少ColumnFamily。
namoDB内部存储中的位置。DynamoDB使用专有的哈希函数,GeminiDB (兼容DynamoDB API)使用的是Murmur3算法,这种差异会导致Scan操作返回的数据顺序不同。 相关应用程序需要使用负载均衡插件将请求均匀地发送到所有节点。若不使用该插件,则只会发送到