检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 桶命名规则如下： 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。 禁止使用IP地址。 禁止以“-”或“.”开头及结尾。 禁止两个“.”相邻（如：“my..bucket”）。 禁止“.”和“-”相邻（如：“my-.bucket”和“my
如何获取OBS的终端节点？ OBS可以通过域名进行访问，在使用API、第三方工具等方式使用OBS时，可通过域名方便定位OBS中的资源。 在使用OBS之前，请确保客户端环境已经正确配置DNS服务器地址，用于OBS域名解析。 不同的数据中心分配对应的域名，域名详情请参见地区和终端节点。
支持处理前的图片最大为25MB，且处理后的图片宽度限制为4096px，高度限制为5000px。 大于2M或者超过50帧的gif或webp等动态图片，直接返回原图，不作处理。 目前对CMYK颜色模式的图片进行处理可能出现颜色的变化。 输入图片总像素不能超过2.5亿px。 命令限制
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
"DenyUnEncryptedObjectUploads", "Effect": "Deny", "Principal": "*", "Action": "PutObject", "Resource": "YourBucket/*"
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制？ 并行文件系统是否支持挂载到Windows服务器？
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
候对于OBS的访问则需要一个固定的IP地址。同样出于安全考虑，华为云OBS桶访问域名通过DNS解析的IP地址是会发生变化的，所以用户无法获取某个桶长期有效的固定IP地址。 此时，可以通过在ECS上搭建Nginx反向代理服务器，来实现通过固定IP地址访问OBS。 使用自定义域名托管静态网站
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
ECS是否已配置内网DNS 成功登录Linux ECS后，打开命令行终端。 运行cat /etc/resolv.conf命令，查看“nameserver”后的IP地址是否为当前ECS所在区域的内网DNS地址。 华为云针对各区域提供了不同的内网DNS服务器地址，具体请参见华为云提供的内网DNS服务器地址。
的地址）来发起访问请求。 DNS将请求解析到桶默认域名。 DNS通过桶默认域名解析请求到OBS服务器的IP地址。 OBS返回服务器的IP地址给客户端。 客户端向OBS服务器IP地址发起Host为自定义域名的请求。 OBS识别请求的Host为自定义域名，向客户端返回不带下载响应头的
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
可以在OBS上托管我的静态网站吗？ OBS支持静态网站托管。用户可以通过OBS管理控制台将自己的桶配置成静态网站托管模式，当客户端通过桶的website接入点访问桶内的对象资源时，浏览器可以直接解析出这些网页资源，呈现给最终用户。 父主题： 静态网站托管
功能概述 目前，OBS Browser提供的功能如表1所示： 表1 功能概述 功能 说明 桶基本操作 指定region（不同服务区域）创建不同存储类别的桶、删除桶、修改桶的存储类别等。 对象基本操作 管理对象，包括上传（含多段上传功能）、下载、重命名、移动、复制、删除、通过对象U
设置CDN加速后，处理过的图片存储在哪里？ 用户通过CDN访问图片处理服务，CDN会对处理后的图片做缓存，此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时，由CDN直接返回处理后的效果，不会再次访问图片处理服务，也不会对此次图片处理请求进行计费。 父主题： 图片处理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
