检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上，让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时，CDN中缓存的过时数据也需要进行更新，可以使用CDN自动刷新功能来自动
如何获取OBS的终端节点？ OBS可以通过域名进行访问，在使用API、第三方工具等方式使用OBS时，可通过域名方便定位OBS中的资源。 在使用OBS之前，请确保客户端环境已经正确配置DNS服务器地址，用于OBS域名解析。 不同的数据中心分配对应的域名，域名详情请参见地区和终端节点。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制？ 并行文件系统是否支持挂载到Windows服务器？
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
ResponseCacheControl string 可选 参数解释： 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值： 无 ResponseContentDisposition string 可选 参数解释： 指定OBS返回请求中C
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
ResponseCacheControl string 可选 参数解释： 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值： 无 ResponseContentDisposition string 可选 参数解释： 指定OBS返回请求中C
设置CDN加速后，处理过的图片存储在哪里？ 用户通过CDN访问图片处理服务，CDN会对处理后的图片做缓存，此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时，由CDN直接返回处理后的效果，不会再次访问图片处理服务，也不会对此次图片处理请求进行计费。 父主题： 图片处理
ResponseCacheControl string 可选 参数解释： 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值： 无 ResponseContentDisposition string 可选 参数解释： 指定OBS返回请求中C
ResponseCacheControl string 可选 参数解释： 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值： 无 ResponseContentDisposition string 可选 参数解释： 指定OBS返回请求中C
显示。 默认取值： 无 cacheControl String 可选 参数解释： 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值： 无 contentLanguage String 可选 参数解释： 说明访问者希望采用的语言或语言组合，以根据自
ResponseCacheControl string 可选 参数解释： 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值： 无 ResponseContentDisposition string 可选 参数解释： 指定OBS返回请求中C
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
在Windows ECS上使用OBS Browser+通过内网访问OBS OBS Browser+是一款用于访问和管理对象存储服务的图形化工具，支持通过配置内网DNS服务器地址的方式，使在华为云上的Windows ECS通过内网直接访问OBS，下面将介绍具体操作流程和操作步骤。 OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
