-
面向AI场景使用OBS+SFS Turbo的存储加速实践 - 弹性文件服务 SFS
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
-
方案概述 - 弹性文件服务 SFS
应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。
-
实施步骤 - 弹性文件服务 SFS
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
-
训练 - 弹性文件服务 SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
-
基本配置 - 弹性文件服务 SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
-
常见问题 - 弹性文件服务 SFS
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，
-
操作流程 - 弹性文件服务 SFS
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
-
资源和成本规划 - 弹性文件服务 SFS
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
-
例行维护 - 弹性文件服务 SFS
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS
-
创建资源 - 弹性文件服务 SFS
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
-
创建训练任务 - 弹性文件服务 SFS
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
-
配置SFS Turbo数据淘汰策略 - 弹性文件服务 SFS
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
-
配置SFS Turbo和OBS联动 - 弹性文件服务 SFS
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
-
配置ModelArts和SFS Turbo间网络直通 - 弹性文件服务 SFS
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，进入自定义策略配置页面。 输入“策略
-
配置SFS Turbo数据自动导出到OBS桶 - 弹性文件服务 SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
-
上传数据至OBS并预热到SFS Turbo中 - 弹性文件服务 SFS
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集，并上传ImageNet21K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。
-
SFS Turbo文件系统状态 - 弹性文件服务 SFS
100 CREATING，正在创建。 200 ACTIVE，激活状态，SFS Turbo文件系统可挂载。 300 FAILED，失败。 303 CREATE_FAILED，创建失败。 400 DELETED，已删除。 800 FROZEN，已冻结。 父主题： 公共参数
-
查询可用区 - 弹性文件服务 SFS
请求消息 参数说明 无 请求样例 无 响应消息 参数说明 参数 参数类型 描述 availability_zones Array of objects availability_zone列表 availability_zone 字段说明： 参数 参数类型 描述 id String 可用区的ID。
-
查询所有共享的详细信息 - 弹性文件服务 SFS
share对象的列表。 share字段说明： 参数 参数类型 描述 links Array 共享链接。 availability_zone String 可用区AZ(availability zone)。 share_server_id String 共享服务管理的ID share_network_id
-
概述 - 弹性文件服务 SFS
Storage，NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS），容器（Cloud Container Engine，CCE&Cloud Container Instance，CCI），裸金属服务器（Bare Metal Server，BMS）提供共享访问。 您
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
