检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
String 权限规格的id ip_cidr String 授权对象的IP地址或网段 rw_type String 授权对象的读写权限 rw：默认选项，以读写的方式共享 ro：以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下：
射到后端的一个IP，可能导致客户端与服务端的网络连接分布不均，从而无法充分利用服务端分布式集群能力。 当客户端数量较少时，如果希望最大限度地利用文件系统性能，一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式，可以更均匀地分布客户端与服务端的网络连接，
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务，可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态，子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
文件系统中的数据是否可以跨区域迁移？ 文件系统中的数据支持跨区域迁移，具体操作请参见数据迁移。 父主题： 限制类
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
FS文件系统的场景下），且您需要达到较高的带宽或IOPS时，建议开启该功能； 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加，当您的业务为小并发的延迟敏感型时，不建议开启该功能； nconnect功能开启后，可以提升NFS客户端与服务端之间的吞吐性能，最终
在文件系统中存放的单个文件最大支持多少？ 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB等类型的SFS Turbo文件系统支持存放最大为320TB的单个文件；标准型、标准型-增强版（停售
只能对配额目录修改配额，配额需高于原配额。 必须要提供的3个参数： 配额路径：目录绝对路径。 配额容量：单位为MiB，表示用户在配额路径下所拥有文件和目录的最大存储量。 配额文件数：表示用户在配额路径下所拥有文件和目录的最大数量。 删除与查询配额 必须要提供的1个参数： 配额路径：目录的绝对路径。 FAQ 为什么添加目录配额失败？
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
8端口的入规则。默认的源地址为0.0.0.0/0，用户后续可根据自己的实际情况，修改该地址。 如果创建加密的SFS Turbo文件系统，将会使用用户填写的kms密钥进行加密。注意，该密钥如果删除，该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
String 授权对象的读写权限 rw：默认选项，以读写的方式共享 ro：以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下： no_root_squash：客户端使用的是root用户时，映射到NFS服务器的用户依然为root用户。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
如何提高SFS Turbo文件系统拷贝和删除操作的效率？ Linux常用cp、rm、tar命令，默认属于串行操作，无法发挥网络文件系统的并发优势，需要用户并发执行以上命令，提升执行效率。 父主题： 其他类
为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
