检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API概览 弹性文件服务所提供的接口分为SFS容量型接口、SFS Turbo接口、通用文件系统接口与OpenStack原生接口。 通过配合使用弹性文件服务所提供的接口和OpenStack原生接口，您可以完整的使用弹性文件服务的所有功能。 SFS容量型接口调用频率限制为：400次/
查询API版本 查询所有API版本 查询API版本的详细信息 父主题： SFS容量型API说明
查询所有API版本 功能介绍 查询SFS当前所有可用版本。 为了支持功能不断扩展，SFS API支持版本号区分。弹性文件服务有两种形式的版本号： 主版本号：具有独立的url，例如v1和v2 微版本号：通过Http请求头“X-Openstack-Manila-Api-Version
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
SFS容量型API说明 查询API版本 文件共享 共享访问规则 配额管理 扩容缩容 共享标签 可用区
SFS Turbo API说明 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
查询API版本的详细信息 功能介绍 查询API版本的详细信息。 URI GET /{api_version}/ 参数说明 参数 是否必选 参数类型 描述 api_version 是 String API版本号。值为v1或v2。 请求消息头 该操作消息头与普通请求一样，请参见表3。
通用文件系统API说明 文件共享 共享访问规则 标签
如何调用通用文件系统API 构造请求 认证鉴权 返回结果
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
通过AITurbo加速保存与加载checkpoint 背景 当前，大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中，故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例，PyTorch默认会通过文件接口访问数据，AI算法开发人员也习惯使用文件接口，因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。
HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS
HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。 说明： 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 成本规划 OBS费用：详见OBS计费说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
