检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月
String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量
HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响，默认是16Gbit/s，如果导入导出速度受到OBS读写带宽上限影响，可提交
响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述 请求示例 更新目标文件夹配额，目录的全路径是“/data/test”，目录的容量大小是1024MB，目录的inode数量限制是100000。 { "path" :
、HPC缓存型（停售）：4096Byte 最大软链接长度 1024Byte 最大硬链接长度 255Byte 文件系统数量配额 默认32个，可提交工单申请扩大配额 操作类限制 表3 操作类限制 限制类型 限制项 说明 创建SFS Turbo文件系统 支持协议 仅支持NFSv3 单文件系统最大容量
Turbo文件系统管理 创建SFS Turbo文件系统 挂载SFS Turbo文件系统 查看SFS Turbo文件系统 管理SFS Turbo目录配额 扩容SFS Turbo文件系统 卸载SFS Turbo文件系统 删除SFS Turbo文件系统
数据导出功能会将您在联动目录里创建的文件，以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀，导入时不需要包含OBS桶名，导出时不需要包含联动目录名称。 对于数
n内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
选择计费模式为包年/包月或按需计费。详细的服务资费费率标准请参见价格说明。 区域 华北-北京四 用户所在的区域。 请选择和云服务器同一个区域。 可用区 可用区1 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 如果您需要较低的网络时延，建议您选择和云服务器相同的可用区。
ares/{share_id}/targets sfsturbo:shares:createBackendTarget 用户需要额外配置OBS Adminstrator权限。 √ √ 查询后端存储列表 GET /v1/{project_id}/sfs-turbo/shares/{share_id}/targets
String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 attributes 是 ObsTargetAttributes object 后端存储属性 表4 ObsTargetAttributes 参数 是否必选 参数类型 描述 file_mode 否 Integer
或者到组织追踪器配置的OBS桶中查看，也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录，您必须配置转储到对象存储服务(OBS)或云日志服务(LTS)，才可在OBS桶或LTS日志组里面查看
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
进入管理控制台后，在控制台左上角的区域下拉框，选择服务所在区域。 选择“服务列表 > 存储 > 弹性文件服务”，进入高性能弹性文件服务管理控制台。 为保证您正常使用SFS Turbo服务，建议您先充值购买高性能弹性文件服务。购买方式，请参见如何购买高性能弹性文件服务？。 创建SFS Turbo文件系统操作步骤
Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例，专属资源池提供独享的计算资源，可用于
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
