检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施
文件系统类型 本章节介绍了各种类型的SFS Turbo文件系统的特点、优势及应用场景。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB
应用场景 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至PB级规模，最高可提供亚毫秒级低时延、百万级IOPS、百GB带宽。具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 适用于多种应用场景，包括AI训练、AIGC、自动驾驶、渲染、
基本概念 账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任
通过AITurbo加速保存与加载checkpoint 背景 当前，大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中，故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训练
计费说明 计费项 默认为按需计费模式。即按您购买时选择的存储容量和时长收费，而不是以实际的使用量收费。以小时为单位，按每小时整点结算。结算时，时长不足1小时的，按1小时计费。计费模型如表1所示。 表1 计费模型 计费项 计费因子 标准型、标准型-增强版（停售）、性能型、性能型-增强版
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储
计费项 高性能弹性文件服务不同类型的SFS Turbo文件系统，如20MB/s/TiB、40MB/s/TiB、125MB/s/TiB都可按需计费，计费因子都是存储空间费用；其中SFS Turbo文件系统的HPC缓存型除存储空间计费外，还可以按“带宽大小”来计费。 表1 SFS Turbo
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
按需计费 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费SFS Turbo资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务，例如电商抢购、临时测试、科学计算。 适用计费项 SFS Turbo文件系统默认为按需计费模式
包年/包月 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，如企业官网、在线商城、博客等，包年/包月计费模式能提供较高的成本效益。 长期项目：
挂载SFS Turbo文件系统到Linux云服务器 当创建文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享使用文件系统的目的，本文将介绍如何挂载文件系统到ECS上。 裸金属服务器、容器（CCE&CCI）操作与弹性云服务器（ECS）挂载操作一致。挂载至CCE：请参考存储管理
在云服务器上挂载并使用SFS Turbo文件系统（Linux） 操作场景 如果您想访问SFS Turbo文件系统数据和实现共享访问，您需要先创建SFS Turbo文件系统，并在多个云服务器上完成挂载操作。 本章节介绍如何在SFS Turbo控制台创建NFS协议的SFS Turbo文件系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
