检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
映射到后端的一个IP，导致客户端与服务端的网络连接分布不均，从而无法充分利用服务端分布式集群能力。 当客户端数量较少时，如果希望最大限度地利用文件系统性能，一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式，可以更均匀地分布客户端与服务端的网络连接，从
8端口的入规则。默认的源地址为0.0.0.0/0，用户后续可根据自己的实际情况，修改该地址。 如果创建加密的SFS Turbo文件系统，将会使用用户填写的kms密钥进行加密。注意，该密钥如果删除，该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内
如何查看SFS容量型资源包的使用量？ 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”，如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情，单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况，如图2所示。 图2 查看资源包使用详情
在文件系统中存放的单个文件最大支持多少？ SFS容量型文件系统支持存放最大为240TB的单个文件。 SFS Turbo文件系统支持存放最大为320TB的单个文件。 通用文件系统支持存放最大为50TB的单个文件。 父主题： 规格类
如何查看SFS容量型资源包的使用量？ 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”，如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情，单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况，如图2所示。 图2 查看资源包使用详情
文件系统中的数据是否可以跨区域迁移？ 暂时不支持直接跨区域迁移文件系统数据，您需要在购买文件系统时规划好合适的区域，或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据，再使用备份复制的功能，将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程，性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口，并将发到其上的流量加密转发到SFS
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间
FS文件系统的场景下），且您需要达到较高的带宽或IOPS时，建议开启该功能； 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加，当您的业务为小并发的延迟敏感型时，不建议开启该功能； nconnect功能开启后，可以提升NFS客户端与服务端之间的吞吐性能，最终
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
如何提高SFS Turbo文件系统拷贝和删除操作的效率？ Linux常用cp、rm、tar命令，默认属于串行操作，无法发挥网络文件系统的并发优势，需要用户并发执行以上命令，提升执行效率。 父主题： 其他类
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
建多个子目录并挂载至主目录上，同时使普通用户拥有读写权限。 操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。 图1 操作流程 父主题： 为文件系统创建普通用户可读写的子目录
String 权限规格的id ip_cidr String 授权对象的IP地址或网段 rw_type String 授权对象的读写权限 rw：默认选项，以读写的方式共享 ro：以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下：
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
