检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
Turbo提供各种规格的文件存储，您可以根据业务需求选择其中一种或几种文件系统，为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况，选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统 通用文件系统为用户提供一个完全托管的共享文件存储
操作场景 如果用户想要查看自己创建的所有文件系统信息，可以使用获取文件系统列表接口查看。 下面介绍如何调用获取文件系统列表API，API的调用方法请参见通用文件系统快速入门。 前提条件 已获取AK和SK，获取方法参见获取访问密钥（AK/SK）。 您需要明确需要列举的文件系统所在的区域信息
HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
> 访问控制 > 安全组”找到目标安全组进行修改即可。 推荐SFS Turbo实例使用单独的安全组，与业务节点隔离。 SFS容量型文件系统的安全组需要用户自行添加对应的入方向和出方向访问规则，配置方法请参见添加安全组规则。SFS容量型文件系统中的NFS协议所需要入方向的端口号为
对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器ECS，容器CCE&CCI，裸金属服务器BMS提供共享访问。 如何迁移？
网络配置 配置多VPC 配置多账号访问 配置DNS
Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟
并使用SFS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 如果华为账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用SFS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。 前提条件 给用户组授权
文件系统类型 弹性文件服务提供了SFS容量型、通用文件系统和SFS Turbo三种类型的文件系统。 以下表格介绍了各类型文件系统的特点、优势及应用场景。 SFS容量型 表1 SFS容量型文件系统 参数 说明 最大带宽 2GB/s 最高IOPS 2K 时延 3~20ms 最大容量 4PB
同一区域跨多个可用区的云服务器可以访问同一文件系统，实现多台云服务器共同访问和分享文件。 弹性扩展 弹性文件服务可以根据您的使用需求，在不中断应用的情况下，增加或者缩减文件系统的容量。一键式操作，轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升，同时保障数据的高持久度，满足业务增长需求。
Turbo性能测试 fio是一个开源的I/O压力测试工具，可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
下，或云服务器被添加到了VPC的授权地址中，则实际上归属于不同VPC的云服务器也能共享访问同一个文件系统。 √ √ 可通过VPC对等连接的方式实现 √ 配置多账号访问 只要将其他账号使用的VPC的VPC ID添加到文件系统的VPC列表下，且云服务器IP地址或地址段被添加至授权地址
Service，SFS）提供按需扩展的高性能文件存储，支持同时为多个弹性云服务器（Elastic Cloud Server, ECS）提供文件共享服务。弹性文件服务提供标准的文件访问协议，用户可以将现有应用和工具与弹性文件服务无缝集成。 弹性文件服务提供简单易用的操作界面，用户可以快捷地创建和管理
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-
如果不需要记录文件的访问时间，可以设置该参数。避免频繁访问时，修改访问时间带来的开销。 nodiratime 如果不需要记录目录的访问时间，可以设置该参数。避免频繁访问时，修改访问时间带来的开销。 没有“使用建议”的参数推荐使用默认参数。 挂载完成后，执行如下命令，查看已挂载的文件系统。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
