检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
K与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成开发环境的搭建，比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见：注册华为账号并开通华为云。
操作指南 挂载并行文件系统 取消挂载并行文件系统
挂载的并行文件系统如何让其他用户访问？ 一般情况下，只有执行挂载命令的用户有访问挂载目录的权限。 如果要允许其他用户访问挂载目录，可以在obsfs挂载命令中指定allow_other参数，命令示例： ./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1
K与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成的开发环境搭建，比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见：注册华为账号并开通华为云。
SDK与OBS云服务交互的必要条件。开发环境准备是让您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成的开发环境搭建，比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见：注册华为账号并开通华为云。
环境准备 资源准备 下载并安装obsfs 初始化obsfs
资源准备 使用obsfs之前，您需要完成如表1所示的资源准备。 表1 资源准备 资源项 说明 操作指导 华为账号 账号是您访问华为云的主体，可以管理IAM用户、访问密钥及OBS并行文件系统等obsfs需要的资源，使用obsfs之前，您需要拥有一个已成功开通OBS的账号。 注册华为账号并开通华为云
生变化的，所以用户无法获取某个桶长期有效的固定IP地址。 此时，可以通过在ECS上搭建Nginx反向代理服务器，来实现通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在ECS上，搭建Nginx反向代理服务器。用户对代理无感知，只需要将请求发送到反向代理服务器，然后由
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
相关操作 libfuse安装指导
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求，主要原因可以归类为以下三点： 数据存储量受限于搭建服务器时使用的硬件设备，如果存储量不够，需要重新购买存储硬盘，进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
训练任务开始前将数据从OBS导入到SFS Turbo，训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS，均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出，无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动，降低存储成本 SFS Turbo支
数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
services.model.ObjectMetadata; import java.io.File; import java.nio.file.Files; import java.nio.file.Paths; public class PutObject009 { public
libfuse安装指导 本章节以安装libfuse 2.9.7为例，详细介绍在CentOS 7、SUSE 12以及Ubuntu 16的操作。 前提条件 下载libfuse源码，并编译生成libfuse.so.2.9.7。 libfuse下载地址：https://github.co
的情况。 桶级的桶策略和IAM策略对obsfs挂载方式生效，目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。 前提条件 已成功获取obsfs，具体操作请参见下载并安装obsfs。 已初始化obsfs，具体操作请参见初始化obsfs。 本地挂载目录已存在。 您也可以使用m
现象六：挂载并行文件系统时出现“unable to access MOUNTPOINT /obsfs: Transport endpoint is not connected”类似错误 问题定位： 挂载路径已被另一个obsfs挂载进程占用。 解决办法： 使用df命令，查看当前已挂载分区及路径，选择一个未被占用的路径重新挂载。
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象，总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一：取消挂载并行文件系统时出现“target is busy”类似错误 问题定位： 取消挂载时，命令行终端停留在挂载目录或其子目录。 解决办法：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
