检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请根据实际的业务情况，阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷，并在CCE界面完成部署操作。 父主题： SFS Turbo迁移类问题
SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
SFS Turbo容量及性能扩容 当SFS Turbo存储空间不足时，您可以对SFS Turbo存储空间进行容量扩容。扩容操作步骤请参考扩容。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略： 单击右上角的“创建自定义策略
存储底层包含HDD和SSD两种存储介质；存储系统采用分布式存储架构，全模块架构冗余设计，无单一故障点。 无缝集成 高性能弹性文件服务同时支持NFS和SMB协议。通过标准协议访问数据，无缝适配主流应用程序进行数据读写。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移？ 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。
此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令，用于访问本地NAS存储。
已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令，用于访问本地NAS存储。
挂载至CCE：请参考存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷，并在CCE界面完成SFS Turbo部署至CCE的操作。 不同云服务器操作系统的挂载操作可能不同，请根据您的实际环境进行操作。
已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建的本地服务器client1，执行以下命令，用于访问本地NAS存储。
当发生故障，训练程序从已有checkpoint恢复时，每张卡都需要从持久化存储中加载，在训练集群规模较大，存储带宽较低的场景下，加载耗时可能会达到小时级，严重影响训练恢复。
此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS Turbo。
支持区域： 全部 SFS Turbo SDK参考文档 文件系统管理 文件系统是SFS Turbo中存储文件的容器。SFS Turbo提供创建、查看、删除等基本功能，帮助您便捷的进行文件系统管理。 支持区域： 全部 如何创建SFS Turbo文件系统？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
