检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
追加上传(Java SDK) 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。 追加对象可以实现在桶中指定的对象尾直接追加上传数据,不存在相同名称的对象则创建新对象。每次追加上传都会更新该对象的最后修改时间。 每次追
参数类型 描述 bucketName String 参数解释: 并行文件系统的并行文件系统名。 约束限制: 并行文件系统的名字需全局唯一,不能与已有的任何并行文件系统名称重复,包括其他用户创建的并行文件系统。 并行文件系统命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“
列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li
存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。 3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turb
如何购买专属对象存储? 资源包相关 配置CDN回源,并购买回源流量包,计费未走回源流量包 已购买资源包,为什么仍然产生按需计费? 购买了回源流量包是否还需要购买公网流出流量包? 资源包是否必须购买?是否能指定给具体的桶使用? 资源包是否支持退订或修改? 并行文件系统是否支持资源包? 哪些资源包会按月更新额度,哪些不会?
是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
listBuckets(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 获取并行文件系统列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 列举并行文件系统常见问题请参见并行文件系统常见问题 父主题: 并行文件系统相关接口(Harmony SDK)
参数类型 是否必选 描述 Bucket string 必选 参数解释: 并行文件系统名。 约束限制: 并行文件系统的名字需全局唯一,不能与已有的任何并行文件系统名称重复,包括其他用户创建的并行文件系统。 并行文件系统命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“
并行文件系统挂载后,为何显示256T? 并行文件系统容量无限制。 用户在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 并行文件系统
分享文件夹 操作场景 您可以使用文件夹分享功能,将OBS中的整个文件夹分享给所有用户。 背景知识 文件夹分享强调临时性,存在有效期。分享者需要先设置一个6位数的提取码,再创建分享。创建成功后,OBS会自动将文件夹中的所有对象的下载链接汇总到一个静态网站中,并托管到一个公共的OBS
列举并行文件系统内对象(Harmony SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 您必须是并行文件系统拥
OBS域名管理 通过CDN加速访问OBS 使用自定义域名托管静态网站
管理文件夹 创建文件夹 分享文件夹 统计文件夹中的对象数量和大小 父主题: 对象管理
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务
更新配置文件 功能说明 更新配置文件(.obsutilconfig)中的部分配置信息,可更新的配置包括:endpoint、ak、sk、token。 关于配置文件(.obsutilconfig)中参数的详细说明,请参见配置参数说明。 命令结构 Windows操作系统 交互模式更新配置
断点续传上传 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录
暂停、继续、取消断点续传上传 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段
恢复失败状态的工作流实例 功能介绍 本接口用于恢复一个执行失败状态的工作流实例。恢复后,工作流实例将从上次失败的状态处继续执行,而工作流步骤中已经执行成功的状态不会再执行。 请求消息样式 PUT /v2/workflowexecutions/{execution_name}?x-
Browser+。 如果未安装OBS Browser+,请先下载并安装。 在并行文件系统列表中,单击目标并行文件系统。 在文件列表中,单击需要重命名文件操作列的。 单击“重命名”。 在弹出窗口中输入新的文件名,单击“确定”。 父主题: 桶和对象相关