检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费模式 计费模式概述 按需计费 包年包月(资源包)
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
文件列表是否支持排序? 文件列表支持按照“大小”和“最后修改时间”进行排序,您可以单击参数后的按钮对文件进行排序。 最后修改时间排序,支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条,文件列表按照英文单词在字典中的先后顺序进行排序,且只支持按文件名的前缀搜索。
所有API接口 GET、PUT 时间格式 通过Date头域表示请求生成时间,Date必须为RFC 1123格式的GMT时间。 如果Date与当前服务器的时间相差超过15分钟时,则服务端返回403,认为请求已失效。 Expires字段表示临时授权失效的时间,单位:秒。超过该时间后,URL签名失效。
我可以修改桶所在的区域吗? 如何修改桶所属的企业项目? 我可以在桶间进行文件复制吗? 我可以在桶间进行文件移动吗? 我可以上传同名对象到同一个文件夹中吗? OBS是否支持断点续传功能? OBS是否支持批量上传文件? OBS是否支持批量下载文件? OBS是否支持批量删除对象或清空桶? 无法搜索到桶中对象或对象不存在返回403
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
移动文件或文件夹 移动文件或文件夹的实现方式:复制文件或文件夹到指定位置,然后删除原有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
上传对象-创建文件夹(Python SDK) 功能说明 您可以在已创建的桶中新建一个文件夹,从而更方便的对存储在OBS中的数据进行分类管理。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象,这类对象与其他对象
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
任务管理 OBS Browser支持上传、下载、重命名、移动、复制、删除、恢复任务管理,通过任务管理可暂停、取消或删除任务。 如果已完成任务数量大于20万条,则系统会按照任务创建时间先后顺序查询10万条较早创建的数据,迁移到OBS Browser解压路径下history目录中,以historyDBData[时间戳]
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。
i-company的APPClient文件夹,并希望申请到两个不同的临时访问密钥分发给终端APP:APP-1和APP-2,其中APP-1仅能访问APPClient/APP-1下的文件,APP-2仅能访问APPClient/APP-2下的文件。 配置步骤 使用账号登录华为云,在右上角单击“控制台”。
storageClass StorageClassEnum 可选 参数解释: 对象的存储类别。创建对象时,可以加上此头域设置对象的存储类别。如果未设置此头域,则以桶的默认存储类别作为对象的存储类别。 取值范围: 可选择的存储类别参见StorageClassEnum。 默认取值: 无 webSiteRedirectLocation
GetBucketLocation(获取桶位置) GetObject(获取对象内容、获取对象元数据) RestoreObject(恢复归档存储对象) GetObjectVersion(获取指定版本对象内容、获取指定版本对象元数据) 不支持排除以上授权操作 公共读写 允许所有账号(
上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引
下载归档存储对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 如果要下载归档存储对象,需要先将归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类,见下表: 选项 说明 OBS