检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建ModelArts资源池：创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。
操作场景 高性能弹性文件服务支持通过云审计服务对资源的操作进行记录，以便用户可以查询、审计和回溯。 前提条件 已开通云审计服务且追踪器状态正常。开通云审计服务请参考《云审计服务快速入门》的“开启云审计服务”章节。 支持审计的详细操作列表 表1 云审计服务支持的SFS Turbo操作列表
SFS Turbo文件系统可以跨账号挂载使用吗？ 支持但不推荐。 针对性能稳定性和延迟要求不高的场景，SFS Turbo文件系统基于VPC的对等连接功能，可以使用跨账号挂载。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题： SFS Turbo挂载类问题
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
SFS Turbo文件系统使用空间不足，可以扩容吗？ 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB和1000MB/s/TiB等类型的SFS Turbo文件系统：支持在线扩容，扩容过程中，正在挂载使用的连接可能存在30%左右的性能抖动；
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统，请使用“查询目录资源使用情况”接口。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
查询SFS Turbo审计事件 操作场景 用户进入云审计服务创建管理类追踪器后，系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录： 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响，默认是16Gbit/s，如果导入导出速度受到OBS读写带宽上限影响，可提交工单联系技术支持人员申请调大OBS服务的读写带宽。
bytes/s 高性能弹性文件服务 1分钟 iops IOPS 该指标用于测量单位时间内处理的I/O数。 ≥ 0 高性能弹性文件服务 1分钟 used_capacity 已用容量 该指标用于统计文件系统已用容量。 单位：byte ≥ 0 bytes 高性能弹性文件服务 1分钟 used_capacity_percent
在消息通知服务界面创建一个主题并为这个主题添加相关的订阅者，然后在添加告警规则的时候，您需要开启消息通知服务并选择创建的主题，这样在云服务发生异常时，云监控可以实时的将告警信息以广播的方式通知这些订阅者。 创建告警规则 登录管理控制台。 单击“服务列表 > 云监控服务”。 选择“告警
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”，完成绑定。 指定导入目录和文件的默认权限，请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节执行操作。 父主题： 基本配置
审计 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录SFS
果选择“可视化视图”请跳转至该步骤，如果选择“JSON视图”请跳转至该步骤。 在“策略内容”下配置策略。 选择“允许”。 选择云服务，勾选“弹性文件服务(SFSTurbo)”。 选择“操作”，勾选只读操作“sfsturbo:shares:showShareNic”、“sfstur
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
