检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FileInputStream(new File("localfile")); // localfile为待上传的本地文件路径，需要指定到具体的文件名 obsClient.putObject("bucketname", "objectname", fis); // 待上传的本地文件路径，需要指定到具体的文件名 FileInputStream
删除托管配置(Java SDK) 功能介绍 OBS允许在桶内保存静态的网页资源，如.html网页文件、flash文件、音视频文件等，当客户端通过桶的Website接入点访问这些对象资源时，浏览器可以直接解析出这些支持的网页资源，呈现给最终用户。典型的应用场景有： 重定向所有的请求到另外一个站点。
更多关于桶存储类型的内容请参考桶的存储类型。 设置桶存储类型 您可以通过ObsClient.setBucketStoragePolicy设置桶存储类型。以下代码展示如何设置桶存储类型： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变
设置分段号，范围是1~10000， request.setPartNumber(1); // 设置将要上传的大文件，其中localfile为待上传的本地文件路径，需要指定到具体的文件名 request.setFile(new File("localfile")); // 设置分段大小 request.setPartSize(5
下载文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶，选中需要下载的文件或文件夹后，单击“下载”。 OBS支持批量下载多个文件和文件夹，单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中
化任务的不错选择。 obsutil工具指南 obsfs obsfs是OBS提供的一款基于FUSE的文件系统工具，主要用于将并行文件系统挂载至Linux系统，让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 obsfs工具指南 SDK SDK是对OBS服务提供的REST
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
obsClient.Close() } } 当应用程序部署在ECS服务器上且该ECS绑定了相关委托项时，可以采用以上方式从ECS服务器上自动获取临时访问密钥。 使用链式方式从系统环境变量及ECS上获取访问密钥创建OBS客户端的代码如下： 1 2 3 4 5
设置托管配置(Java SDK) 功能介绍 OBS允许在桶内保存静态的网页资源，如.html网页文件、flash文件、音视频文件等，当客户端通过桶的Website接入点访问这些对象资源时，浏览器可以直接解析出这些支持的网页资源，呈现给最终用户。典型的应用场景有： 重定向所有的请求到另外一个站点。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
创建VPC：创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
文件列表是否支持排序？ 支持。 文件列表支持按照“大小”和“最后修改时间”进行排序，您可以单击参数后的按钮对文件进行排序。 “最后修改时间”排序，支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条，文件列表按照英文单词在字典中的先后顺序进行排序，且只支持按文件名的前缀搜索。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
断点续传过程中，会生成一个进度记录文件，文件中会记录段的上传进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。 约束限制： 仅在断点续传模式下有效。 默认取值： 当该值为空时，默认为待上传的本地文件的同级目录。 uploadFile String 必选 参数解释： 待上传文件或文件夹的完整路径，如aa/bb
快速入门 OBS服务环境搭建 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
Bad Request IncorrectNumberOfFilesInPost Request 每个POST请求都需要带一个上传的文件。 带上一个上传文件。 400 Bad Request InvalidArgument 无效的参数。 根据返回的错误消息体提示进行修改。 400 Bad
OBS为容量型存储，在时延、带宽等存储性能上无法满足高性能AI训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。
OBS的文件夹与文件系统的文件夹是否一样？ 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据，OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”，将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题： 产品咨询
管理文件夹 创建文件夹 分享文件夹 统计文件夹中的对象数量和大小 父主题： 对象管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
