检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不支持 OBS区域域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”，完成绑定。 指定导入目录和文件的默认权限，请参考《高性能
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响，默认是16Gbit/s，如果大模型训练生成的Checkpoint文件过大、导出速度过慢，可提交工单申请调大OBS服务的写入带宽。 父主题： 基本配置
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型
训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为
HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟
Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略： 单击右上角的“创建自定义策略”，进入自定义策略配置页面。 输
Turbo中的数据迁移到OBS中，则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS；反之，使用OBS的下载功能即可将数据从OBS迁移到SFS Turbo（需要读写权限）。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操作系统类型和实际情况选择合适的方式，并参考对应指导文档中的上传/下载相关章节完成数据迁移。
Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
使用公网迁移 背景说明 用户可以将本地NAS存储中的数据，通过公网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
