亿级数据高效处理,华为云时序时空数据库openGemini正式开源
【摘要】【中国,2022年6月16日】在华为伙伴暨开发者大会2022,华为云将GaussDB时序时空数据库内核开源,并命名为openGemini。华为云数据库创新Lab主任张文亮在华为云数据库专题论坛对openGemini进行了详细的技术解读,介绍了其创新架构、卓越的读写性能、高效的数据分析和数据压缩等能力,是企业数字化转型升级,海量时序时空数据处理的最佳选择。
【中国,2022年6月16日】今天,在华为伙伴暨开发者大会2022,华为云将GaussDB时序时空数据库内核开源,并命名为openGemini。华为云数据库创新Lab主任张文亮在华为云数据库专题论坛对openGemini进行了详细的技术解读,介绍了其创新架构、卓越的读写性能、高效的数据分析和数据压缩等能力,是企业数字化转型升级,海量时序时空数据处理的最佳选择。
物联网时代,设备数量激增,数据库面临更大挑战。比如高并发写入大量数据如何保证高性能?每天GB、TB级数据如何降低存储成本?海量数据的聚合分析如何满足业务要求?与此同时,随着企业数字化和云计算技术的发展,企业IT系统数量越来越多,功能也越来越复杂,导致企业在处理数据时存在诸多挑战。首先,数据存在多种模态,分散存储在多套系统中。其次,数据指标类型多,采样频率高,数据增长迅猛。第三,业务种类繁多,对分析的时效性要求越来越高。最后,业务之间存在复杂的关联,故障检测和根因分析很困难。多个系统的运维监控也对数据库提出了新的需求。
时序数据库是针对物联网和运维监控等场景,结合业务和数据特点专门设计的一种垂直领域数据库系统,在数据压缩精简、数据分层存储、连续数据查询以及数据分析等方面具有超越传统关系型数据库的明显特点和优势。
华为云整合产业和技术优势,打造了业界领先的企业级时序数据库GaussDB(for Influx),并经过外部公有云业务服务化的锤炼以及内部DevOps等业务的长时间打磨,在大规模集群、高性能查询、分级压缩存储等方面都有明显优势。在此次大会上,华为云宣布将GaussDB(for Influx)内核正式对外开源,开源品牌命名为openGemini,它是继openGauss数据库开源之后,华为开源的又一关键数据库系统。
openGemini兼容InfluxDB、Prometheus生态API,具有高性能、高扩展、存储-分析一体化、运维成本低、高数据压缩率等5大优势。
openGemini数据库全景图
高性能,千亿级时序数据全生命周期管理
openGemini通过多核并行算法、数据分级存储、向量化、数据预处理、近数据处理等技术,实现极致读写性能。在海量数据场景下,支持每天万亿指标数据写入,万级传感器数据时空聚合查询亚秒级响应,在同类开源产品中性能优势明显。
高扩展,满足企业复杂业务处理诉求
openGemini由ts-sql, ts-store, ts-meta三个组件组成,每个组件可单独扩展,能够支撑100+节点的扩展,可灵活应对不同时序业务场景。
存储-分析一体化,实现数据闭环管理
openGemini基于AI技术的强大数据分析能力,提供时序预测、时序异常检测能力,实现了数据从存储到分析完整的闭环管理。
运维成本低
openGemini架构简单,安装部署灵活,无第三方依赖,大幅减轻了运维的成本。
高数据压缩率
openGemini采用行列混存方式,数据按列进行压缩,不同数据类型对应不同的数据压缩算法,极大缩减了数据压缩空间。如华为云某服务存储空间从每天1035GB降低到82GB,缩减了12.6倍。
技术创新是openGemini开源社区持续、健康发展的推动力,华为云将坚持开放合作的运营理念,期待与开发者、企业一起共建openGemini开源社区,实现开源成果的共享,促进时序数据库产业快速发展,实现技术的商业价值和社会价值。
openGemini社区欢迎企业人员、科研工作者、学生等伙伴的加入。让我们携手与共,共创新、赢未来!
官网地址:http://www.opengemini.org
开源地址:https://github.com/openGemini
扫描下方二维码,关注openGemini社区公众号,获取更多及时资讯。