检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文件夹 使用场景 您可以在已创建的桶中新建一个文件夹,从而更方便的对存储在OBS中的数据进行分类管理。 由于OBS是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
存储类别概述 使用场景 伴随着互联网的高速发展,数据存储场景越来越多样化,单一的存储类别已无法满足多样化的存储场景和成本管理诉求。OBS设计了多种存储类别,支持的存储类别有标准存储、低频访问存储、归档存储、深度归档存储(受限公测),您可以结合自身业务合理选择。不同规格的存储类别计费参见存储费用。
相关操作 libfuse安装指导
storageClass StorageClassEnum 可选 参数解释: 对象的存储类别。创建对象时,可以加上此头域设置对象的存储类别。如果未设置此头域,则以桶的默认存储类别作为对象的存储类别。 取值范围: 可选择的存储类别参见StorageClassEnum。 默认取值: 无 webSiteRedirectLocation
网站文件托管 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,可以通过创建OBS客户端,调用SDK接口。 获取A
恢复归档存储文件 针对存储类别为归档存储的对象,用户需要先恢复才能下载。 背景知识 归档存储是一种很少访问(平均一年访问一次)、但安全、持久且成本极低的存储服务,适用于数据归档和长期备份。客户能够以极低的价格安全地存储数据,帮助客户显著降低了成本。为了保持成本低廉,数据恢复时间可能长达数分钟到数小时不等。
解决办法: 检查密钥文件中的AK和SK信息是否配置正确。检查方法可参照初始化obsfs章节中的步骤3。 现象四:挂载并行文件系统时出现“specified passwd_file is not readable”类似错误 问题定位: passwd_file配置的密钥文件路径不正确。 解决办法:
创建文件夹(Java SDK) 功能说明 您可以在已创建的桶中新建一个文件夹,从而更方便的对存储在OBS中的数据进行分类管理。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象,这类对象与其他对象无任何差异,可
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
访问密钥(AK和SK)是账号或IAM用户的凭证信息,obsfs通过访问密钥登录至OBS,从而对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 创建访问密钥(AK和SK) 并行文件系统 并行文件系统是存储数据的容器。 创建并行文件系统 注册华为账号并开通华为云 在使用obsfs之前,您需要拥有一个华
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
网站文件托管 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。
删除文件或文件夹 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 操作步骤 登录OBS Browser。 选中待配置的桶,选中待删除的文件或文件夹后,单击右侧“更多>删除”。 客户端支持批量删除,选中多个文件或文件夹,单击列表上方的“删除”即可批量删除。
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
快速入门 OBS服务环境搭建 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
约束 描述 file_url 多文件/文件夹上传时可选 上传文件时必选 本地文件路径。 说明: 多文件/文件夹上传时,禁止路径嵌套,例如:/a/b/c和/a/b/。 多文件/文件夹上传时,必须配置msm=1,此时可以用英文逗号分隔多个文件,例如:file_url1,file_url2。
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。