华为云对象存储服务 OBS
帮助文档

OBS常用工具

OBS常用工具

对象存储服务（Object Storage Service，OBS）提供OBS Browser+、obsutil、obsfs等多种实用工具，满足不同场景下数据迁移和数据管理需求。

您可以通过上述工具，轻松完成OBS资源管理，包括：OBS桶创建，并行文件系统挂载，对象上传下载等。

对象存储服务（Object Storage Service，OBS）提供OBS Browser+、obsutil、obsfs等多种实用工具，满足不同场景下数据迁移和数据管理需求。

您可以通过上述工具，轻松完成OBS资源管理，包括：OBS桶创建，并行文件系统挂载，对象上传下载等。

OBS工具汇总

对象存储服务（Object Storage Service，OBS）提供如下表格所示工具，供用户使用。

工具

说明

应用场景

 

OBS Browser+

OBS Browser+是一款用于访问和管理对象存储服务的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理。

适用于在中小型企业中上传、下载和分享个人数据等场景。推荐非IT行业，如医疗、交通、教育等行业用户使用，方便对数据执行操作。

 

obsutil

obsutil是一款用于访问管理OBS的命令行工具，可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户，obsutil是执行批量处理、自动化任务的好的选择。

建议中小型企业的IT运维管理人员在备份、分享、管理数据时使用。命令行方式更高效，可以和脚本集成做简单自动化处理。

基因、教育等行业也可以使用obsutil将每日增量数据同步上云。

 

obsfs

obsfs是OBS提供的一款基于FUSE的文件系统工具，主要用于将OBS并行文件系统挂载至Linux系统，让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。

obsfs适用于Linux操作系统。

通过POSIX文件语义接口操作OBS存储的数据时，推荐使用obsfs挂载并行文件系统的方式。

OBS工具【OBS Browser+】

OBS Browser+是一款用于访问和管理对象存储服务（Object Storage Service，OBS）的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。

OBS工具【obsutil】

obsutil是一款用于访问管理华为云对象存储服务（Object Storage Service，OBS）的命令行工具，您可以使用该工具对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户，obsutil能在执行批量处理、自动化任务场景能为您带来更优体验。

OBS工具【obsfs】

obsfs是对象存储服务 （Object Storage Service，OBS）提供的一款基于FUSE的文件系统工具，用于将OBS并行文件系统挂载至Linux系统，让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。

对于原本使用本地文件系统存储数据的用户，如果希望把数据存储在OBS上但不改变数据的访问方式，推荐使用obsfs。

  • 相关操作

    本卡片介绍libfuse的安装指导，包含了CentOS 7、SUSE 12、Ubuntu 16等安装libfuse。

    - libfuse安装指导

    本卡片介绍libfuse的安装指导，包含了CentOS 7、SUSE 12、Ubuntu 16等安装libfuse。

    - libfuse安装指导

    了解详情

  • 常见问题

    本卡片罗列了在使用OBS工具obsfs的过程中经常遇到的问题。

    1、同一个并行文件系统可以挂载至多个客户端吗？

    2、同一个客户端可以挂载多个并行文件系统吗？

    3、鲲鹏平台下编译libfuse.2.9.7报“error: conflicting types for 'int64_t'”错误如何解决？

    4、obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量？

    5、挂载的并行文件系统如何让其他用户访问？

    本卡片罗列了在使用OBS工具obsfs的过程中经常遇到的问题。

    1、同一个并行文件系统可以挂载至多个客户端吗？

    2、同一个客户端可以挂载多个并行文件系统吗？

    3、鲲鹏平台下编译libfuse.2.9.7报“error: conflicting types for 'int64_t'”错误如何解决？

    4、obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量？

    5、挂载的并行文件系统如何让其他用户访问？

    了解详情

  • 约束与限制

    1、本地挂载目录可以不为空，但是挂载后此目录下原有的内容将不可用，取消挂载后即可恢复。建议使用空目录作为挂载目录。

    2、obsfs只支持挂载OBS并行文件系统，不支持挂载对象存储桶。

    3、挂载至本地系统的并行文件系统不能提供与本地文件系统完全相同的性能或功能，使用时需要注意以下细节：

    - 挂载目录中的文件或文件夹不支持硬链接命令。

    - 创建的目录深度不超过45层。

    4、桶级的桶策略和IAM策略对obsfs挂载方式生效，目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。

    1、本地挂载目录可以不为空，但是挂载后此目录下原有的内容将不可用，取消挂载后即可恢复。建议使用空目录作为挂载目录。

    2、obsfs只支持挂载OBS并行文件系统，不支持挂载对象存储桶。

    3、挂载至本地系统的并行文件系统不能提供与本地文件系统完全相同的性能或功能，使用时需要注意以下细节：

    - 挂载目录中的文件或文件夹不支持硬链接命令。

    - 创建的目录深度不超过45层。

    4、桶级的桶策略和IAM策略对obsfs挂载方式生效，目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。

    了解详情

OBS工具常见问题

OBS工具常见问题

  • 使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢

    出现此种现象有两种场景。

    场景一：文件夹中存在部分大对象和大量小对象。对于大对象，下载速度很快；对于大量小对象，下载速度主要受TPS影响。如果下载到90%后都是小对象，此时下载速度一定程度上可能会降低。

    场景二：文件夹中的对象大小均匀。可能原因为数据已经下载完成，但是在写入磁盘时产生排队现象，造成显示下载变慢的假象，请客户排查客户端的写入速率等问题。

  • 使用obsutil下载文件到99%后失败

    出现该问题的主要原因：

    1、网络波动导致下载失败。

    2、磁盘IO卡顿导致缓存文件到目标文件夹失败。

    解决方法：

    1、重新执行下载命令。obsutil在下载的时候默认开启断点续传，此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。

    2、如果问题未能解决，请将obsutil升级到最新版本再进行下载。

    3、如果问题仍然存在，请联系客服处理。


  • obsutil上传下载速度慢

    OBS不限速，obsutil也不会对客户数据传输进行限流。

    采用obsutil进行文件上传下载，如果通过公网，受公网带宽限制；如果通过内网，受网卡、磁盘IO及是否有其它进程抢占资源的限制。

    如果出现上传下载速度慢的问题，可参考以下方法排查处理：

    1、检查网络。ping同区域的OBS终端节点（Endpoint），例如ping obs.cn-north-1.myhuaweicloud.com，检查网络时延、丢包率等。OBS各区域终端节点列表

    2、检查是否通过内网访问OBS。检查方法参考如何判断是否内网访问OBS？。

    3、对于大量小文件的上传、下载，主要受TPS（单位时间内处理文件个数）影响，而非带宽。

    4、批量上传可以增加“-j”和“-p”等参数，并将参数值调高，观察传输速度是否提高。参考性能调优最佳实践

  • obsutil cp命令如何开启增量上传/下载/复制？

    在执行obsutil cp命令进行上传/下载时，可以通过增加“-u”参数开启增量功能。

    该参数的含义为：上传/下载/复制每个对象时都会对比源路径和目标路径，仅在目标对象不存在，或者对象大小不一致，或者目标对象的最后修改时间早于源对象的最后修改时间时进行上传/下载/复制。

  • 并行文件系统是否支持挂载到Windows服务器？

    并行文件系统当前仅支持通过obsfs挂载至Linux服务器，暂不支持挂载至Windows服务器。

对象存储精选推荐

带您了解更多华为云产品，助力企业上云