检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一库替代多库,有效支撑业务的实时查询分析诉求。 高压缩率 传统HBase:只能按列族设置压缩算法,且仅支持Gzip,SNAPPY,LZO,LZ4四种压缩算法。 GeminiDB Influx:针对每列的数据类型选用不同的压缩算法,支持Simple8b,Delta,Delta-Of-Delta,RLE,Zigzag
Mongo接口是一款兼容MongoDB生态的云原生NoSQL数据库,具有企业级性能、灵活弹性、高可靠、可视化管理等特点。 企业级性能 开源3倍性能提升,支持7*24小时在线数据实时写入,具备高可用和读写负载均衡能力。 灵活弹性 基于计算存储分离的分布式架构,实现分钟级计算节点扩容和秒级存储扩容,扩容过程不干扰线上业务。
时间线Hash”两层打散,分布式并行写入,且最高每天处理万亿级时间点写入。 灵活弹性 计算独立按需扩展、扩容不迁移数据,分钟级完成集群节点扩缩容。 高压缩率 列式存储布局和专用压缩算法,相比开源版本压缩率可以提升5~10倍左右。 高查询性能 多节点多线程并行查询,可高效处理高并发大数据量分析任务。 典型应用 IoT传感器时序数据分析
接口是一款基于华为自研的计算存储分离架构,兼容InfluxDB生态的云原生NoSQL时序数据库。提供大并发的时序数据读写,压缩存储和类SQL查询,并且支持多维聚合计算和数据可视化分析能力。具有高写入、灵活弹性、高压缩率和高查询等特点。 GeminiDB Cassandra接口 兼容宽列接口:Cassandra,DynamoDB
SplitKey:创表同时指定。 是 Region:自动分裂。 是 Disable/Delete:禁用/删表。 是 Compress:指定压缩算法(已自带数据压缩)。 暂无规划 Alter Table:增加ColumnFamily。 是 Alter Table:减少ColumnFamily。
),则需要使用其对应的安装命令。 NodeJs安装完成后,可执行如下命令,查看其版本号,确认NodeJs已安装成功。 node -v 安装JS包管理工具npm。 yum install npm 安装NodeJs redis客户端ioredis。 npm install ioredis
自建Redis主备、集群实例如何迁移到GeminiDB Redis? 在线迁移可以使用DRS服务进行迁移: 单机Redis迁移至GeminiDB Redis主备操作请参考将Redis迁移到GeminiDB Redis。 集群Redis迁移至GeminiDB Redis集群操作请参
的最佳选型: 性能稳定:平均时延<1ms,P99时延约2ms,性能表现可满足广告RTA等时延敏感类型业务。 数据降本:双重数据压缩,100G特征数据压缩后只占不到50G,解决长期成本痛点。 FastLoad极速入库:FastLoad支持将Spark/Hadoop TB级特征数据极
图2 下载工具 下载“robo3t-1.4.4-windows-x86_64-e6ac9ec5.zip”。 图3 下载软件包 解压3下载的压缩包文件,双击解压目录下的“robo3t.exe”文件,开始执行安装。 安装完成后,打开工具,界面展示如图4所示。 图4 工具主界面 工具安装成功后,您可以通过工具连接实例。
单点读写平均时延<1ms,P99<2ms;采用多线程架构,单实例QPS可支撑1w-1000w线性扩展。 高性价比: 综合降本30%:无需备节点,具备4:1超高数据压缩,存储扩容成本更低。 运维效率提升: 可实现2GB到百TB的无感存储扩容,支持极速数据回档(PITR)等能力。 具有更多的增强特性: 支持
输出内容显示如下,说明迁移成功。其中,“x”表示转储数据的记录条数。 exported x records 压缩导出的JSON文件。 gzip exportfile.json 压缩是为了方便网络传输,压缩后生成“exportfile.json.gz”文件。 将数据导入至目标GeminiDB Mongo
GeminiDB Cassandra能够支持高并发低时延的访问需求,具备高可用和弹性扩容能力,适合消息、订单查询、网站等各种大数据量的互联网在线应用场景。 图1 在线应用场景 方案优势 高可用:单点故障不影响业务。 低时延:时延在毫秒级别。 弹性扩容:可随着业务增长灵活扩容计算和存储能力。 多活:GeminiDB
以供导入。 由于GeminiDB Influx压缩率较高,请按照实际GeminiDB Influx tsm文件目录以及 wal文件目录磁盘空间总和30倍的大小在导出ECS上预留磁盘空间。 修改导出配置文件。 请创建导出目录,解压压缩包cvtLocDataTool_all.tar至导出目录下,并修改导出目录
一步”。 在线变更:变更过程中,实例节点依次滚动升级,对业务影响最小,变更时长跟节点数正相关,每个节点约需5~10分钟。若节点数较多,请耐心等待。 离线变更:离线变更时,全部节点将并行变更,会导致业务中断约10-20分钟左右,请谨慎操作!对于您的线上生产业务,请使用在线变更。 经典部署模式实例
现的整型溢出问题。 修复Scan命令对于包含特殊字符的Key处理错误的问题。 2021-11-30 新特性及性能优化: 优化计算层数据压缩中压缩、解压的效率。 优化内部集群故障接管场景的RTO。 问题修复: 修复GEO, STREAM类型命令的兼容性问题。 修复Scan命令可能无法扫全数据的问题。
注意放开源端和目标端安全组配置。 操作步骤 部署迁移工具。 获取工具Redis-Shake。 Redis-Shake工具可下载release版本,解压缩后即可使用。 修改配置文件“Redis-Shake.conf”,修改时需要注意以下配置项。 log.level = info # 默认日志
进行的。备份过程中会占用备份节点一定的CPU内存资源,因此会存在CPU使用率、内存使用率指标上涨的情况,属于正常现象。但最终的备份文件将以压缩包的形式存储在对象存储服务(OBS)中,不会占用实例的磁盘空间。 图1 备份原理图 备份存储 GeminiDB Mongo的备份数据存储至对象存储服务(Object
a节点,后续称为M1节点)。如图1所示,GeminiDB Influx的备份在M1节点上进行,通过对数据进行秒级快照,并将生成的备份文件以压缩包的形式存储在对象存储服务(OBS)中,不会额外占据GeminiDB Influx实例的存储空间。备份上传过程中会消耗一定的CPU,因此会
(seed节点)。如图1所示,GeminiDB Cassandra的备份在seed节点上进行,通过对数据进行秒级快照,并将生成的备份文件以压缩包的形式存储在对象存储服务(OBS)中,不会额外占据GeminiDB Cassandra实例的存储空间。备份上传过程中会消耗一定的CPU,
GeminiDB Redis采用存算分离的架构,备份原理图1所示。GeminiDB Redis存储池中对数据进行秒级快照,通过计算层透传,以压缩文件的形式存储在OBS存储服务中,不会额外占据实例的存储空间。快照的创建和删除对计算层无影响,上传过程会临时消耗少量计算资源,实例的CPU和内存指标会略微升高,属正常现象。