检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具有更多的增强特性: 支持Hash子field过期能力、布隆过滤器、数据极速导入、内存加速等企业级特性。 GeminiDB Redis和自建开源KV数据库详细对比请参考产品优势 父主题: 产品咨询
优化内存加速的整体性能。 新增数据快速恢复能力。 优化内存加速对DDL语句的支持。 6.2 2024-04-30 新特性及性能优化: 新增SCRIPT FLUSH命令对SYNC/ASYNC参数的支持。 优化布隆过滤器的性能。 新增BF.CARD命令支持。
添加配置参数,支持启动时触发全量Compaction,加速实例在大量脏数据场景下的启动速度。 2023-04-30 新特性及性能优化: 新增检测到磁盘故障时,会自动主备倒换,使数据库更加稳定地运行。 问题修复: 修复SERVER-37686漏洞。
建议在范围查询时使用合适的Limit值: 范围查询时,预读特性配合合适的Limit值会加速查询,建议使用合适的Limit值,可以从监控项Limit差值大小平均值确认是否合理。 父主题: 数据库规范
它具有稳定低延迟、高性价比、无需备节点,全主架构、具备4:1超高数据压缩等优势,支持Hash Field过期、布隆过滤器、数据极速导入、内存加速等企业级特性。
方案优势 海量数据实时解析写入,应用开发极简 传统HBase:将车辆上报的数千监控指标作为一个字符串写入HBase,应用程序读取某个指标时,需要先读整个字符串,再解析,过程复杂,效率低。
可以使⽤PIPELINE模式加速,PIPELINE本⾝也是保证执⾏顺序的,因此不会有乱序的问题。 拆分的粒度可以根据实际情况选择,拆的越细,产生的时延毛刺就越小,但是初始化时间就越长,通常建议256KB-1MB左右的值。
增量迁移解析RocksDB的wal文件,将RocksDB的操作解析出来,然后对其中的key进行分片,多线程进行发送。 使用须知 迁移工具需要部署在源端,对性能有一定消耗,可通过修改配置文件进行一定的控制。
迁移原理 通过迁移工具解析社区版InfluxDB的tsm以及wal文件写入到行协议(Line Protocal)文件中,最终将行协议文件数据解析并迁移至目标端。 整个迁移过程分为导出和导入阶段两个阶段。
增量迁移解析LevelDB的wal文件,将LevelDB的操作解析出来,然后对其中的key进行分片,多线程进行发送。 使用须知 迁移工具需要部署在源端,对性能有一定消耗,可通过修改配置文件进行一定的控制。
然后解析全量数据文件成redis命令写入GeminiDB Redis。全量迁移完成后进入持续的增量迁移过程,迁移工具循环给Kvrocks发送PSYNC命令,将获取到的增量数据不断转发给GeminiDB Redis,完成增量迁移 。
详细的参数解析请见官方文档。 解决方案 通过查看监控指标,观察单个节点的CPU使用率、读写pending、读写时延等指标的使用情况。 如果单个节点负载已经达到上限,则需要进行节点个数扩容,具体操作请参见添加节点。 如果单个节点负载还处于较低水平,则需要调整Driver端的配置。
将获取到的数据解析、转换为Redis支持的格式,并发送到配置文件中指定的Redis实例,迁移过程如下图所示。全量同步完成后,SSDB中新增的数据也会同步到Redis实例中。
如果需要做全量迁移,Pika主节点会将全量数据快照发送给pika-port,pika-port将解析后的快照数据发送给GeminiDB Redis。全量迁移结束后进入增量迁移,pika-port将增量数据解析后以redis命令的形式发送给GeminiDB Redis。
中文解析器: 'analyzer_class': 'SmartChineseAnalyzer' 标准解析器: 'analyzer_class': 'StandardAnalyzer' IK解析器: 'analyzer_class': 'IKAnalyzer' ordered_columns
其它注意事项: Pipeline 不保证原子性,服务端在处理批量命令时,解析出多个单命令并按顺序执行,各个命令相互独立,服务端有可能在该过程中执行其他客户端的命令。某个命令执行失败不会影响其他命令的执行,如需原子性,需要使用事务或lua实现。
执行计划解析: 看执行时间:executionStats.executionStages.executionTimeMillisEstimate和executionStats.executionStages.inputStage. executionTimeMillisEstimate
如下图所示: 图1 原理图 当用户绑定并且执行编译statement时,cassandra driver只会发送唯一标识符和数据,cassandra server会跳过解析query语句过程。
全量迁移原理:工具模拟源端Redis的从节点,通过全量同步获取RDB文件,解析后将数据以命令形式发送给目标端GeminiDB Redis。此外,也可将RDB文件作为数据源,方便地导入某时刻的数据快照。
无,需自行制定 - FROM MAXPARSEERRORS 最大全局解析错误数。使用“ -1”意味无最大限制。 -1 - FROM MAXINSERTERRORS 全局最大插入错误数。使用“ -1”意味无最大限制。