对象存储服务 OBS-方案概述:方案优势

时间：2024-09-18 16:15:34

对象存储服务 OBS

方案优势

相比传统企业在本地IDC机房部署大数据业务，华为云数据存算分离方案的主要优势如表2。

表2 华为云大数据存算分离相比传统大数据方案的优势
序号	主要优势	详细描述
1	融合高效，协同分析	通过统一的权限控制，实现多集群间的数据共享。数据“0”拷贝。大数据和AI一体化，减少作业耗时。
2	存算分离，资源利用率高	计算存储解耦，支持独立扩容或缩容，计算资源可弹性伸缩，资源利用率提升。
3	数据EC冗余存储，利用率高，成本低	对象存储服务 OBS支持利用率最高的分布式数据容错技术Erasure code，磁盘利用率大幅提升，数据存储空间需求远低于三副本。

此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。

OBSFileSystem的主要作用：提供HDFS文件系统的相关接口实现，让大数据计算引擎（Hive、Spark等）可以将OBS作为HDFS协议的底层存储。

图2 存算分离方案中的OBSFileSystem
点击放大

OBS服务支持对象存储桶（对象语义）和并行文件系统（POSIX文件语义），在大数据场景下建议选择并行文件系统。并行文件系统支持POSIX文件语义，通过OBSFileSystem封装，相较对象语义增加Rename、Append、hflush/hsync接口，实现完善的HDFS语义，为大数据计算提供了更好的性能。

基于上述优势，华为云存算分离大数据方案相比传统大数据方案，在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降，同时资源利用率也能得到显著提升，可帮助企业降低业务综合成本。

上一篇：对象存储服务 OBS-方案概述:应用场景

下一篇：对象存储服务 OBS-方案概述:应用场景