检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上，让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时，CDN中缓存的过时数据也需要进行更新，可以使用CDN自动刷新功能来自动
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制？ 并行文件系统是否支持挂载到Windows服务器？
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
在Windows ECS上使用OBS Browser+通过内网访问OBS OBS Browser+是一款用于访问和管理对象存储服务的图形化工具，支持通过配置内网DNS服务器地址的方式，使在华为云上的Windows ECS通过内网直接访问OBS，下面将介绍具体操作流程和操作步骤。 OBS
BS桶放在一个区域。因此华北-北京四的服务器访问华北-北京四的OBS桶，属于内网访问，华东-上海一的服务器访问华北-北京四的OBS桶，属于外网访问。表1是该用户7月份的费用构成。 表1 计费构成 操作分类 详细操作 涉及计费项 单价 计费量 费用 公网上传对象 华东-上海一的云服
不会暴露用户的永久AK/SK，降低了账号泄露带来的安全风险。 图1 使用临时安全凭证直传OBS流程 角色分析如下： 应用客户端：即最终用户手机上的APP，负责向应用服务器发出申请临时安全凭证的请求，以及访问OBS完成数据上传或下载。 应用服务器：即提供该Android/iOS应用
设置CDN加速后，处理过的图片存储在哪里？ 用户通过CDN访问图片处理服务，CDN会对处理后的图片做缓存，此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时，由CDN直接返回处理后的效果，不会再次访问图片处理服务，也不会对此次图片处理请求进行计费。 父主题： 图片处理
支持将图片转换为支持的图片格式，并支持对转换格式后的图片设置渐进显示。 控制台图形界面 控制台代码编辑 接口调用 图片旋转 支持将图片按照顺时针方向进行旋转，以及根据相机或手机的旋转信息进行自动旋转。 控制台代码编辑 接口调用 图片剪切 支持将图片按照指定宽高、内切圆半径、索引方式和圆角矩形大小进行剪切。 控制台代码编辑
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
OBS支持使用HTTPS协议访问吗？ OBS对HTTPS的支持情况如下： OBS桶域名：支持，在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名：暂不支持，如需使用请提交工单。 开启CDN加速后的OBS加速域名：支持，开启CDN加速后可通过CDN管理控
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器，再由应用服务器上传至OBS，数据需要在应用服务器中转，传输效率较低，且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
