检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储
快速入门(Python SDK) 创建AK、SK OBS通过用户账户中的AK和SK进行签名验证，确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明： AK：Access Key ID，接入键标识，用户在对象存储服务系统中的接入键标识，一个接入键标识唯一对应一
追加上传(Java SDK) 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型：文本文件、图片、视频等。 追加对象可以实现在桶中指定的对象尾直接追加上传数据，不存在相同名称的对象则创建新对象。每次追加上传都会更新该对象的最后修改时间。 每次追
访问静态网站时返回的索引页面，即首页。 示例：index.html 404错误页面： 当访问错误的静态网站路径时，返回的404错误页面。 示例：error.html 免费 自定义域名 用户自己的域名地址，需要绑定在OBS桶上。 按照工信部要求，您绑定自定义域名的桶如果在以下区域，需要提前完成ICP备案。 包
通过CDN加速域名访问桶 使用场景 现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件，并将OBS作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时，用户会通过URL直接从OBS请求数据，但一般情况下文件只存储在一个区域，距离文件存储区域较远的用户
对于加密类型的对象如何使用URL进行下载？(Java SDK) 如果是SSE-KMS方式进行加密的对象，使用URL下载时服务端会自动解密。 如果对象是SSE-C方式进行加密的对象，由于解密需要设置请求头域，所以不能通过浏览器直接访问该对象。如果您是在编写代码来访问加密类型的对象，
访问静态网站时返回的索引页面，即首页。 示例：index.html 404错误页面： 当访问错误的静态网站路径时，返回的404错误页面。 示例：error.html 免费 自定义域名 用户自己的域名地址，需要绑定在OBS桶上。 按照工信部要求，您绑定自定义域名的桶如果在以下区域，需要提前完成ICP备案。 包
如何获取OBS的终端节点？ OBS可以通过域名进行访问，在使用API、第三方工具等方式使用OBS时，可通过域名方便定位OBS中的资源。 在使用OBS之前，请确保客户端环境已经正确配置DNS服务器地址，用于OBS域名解析。 不同的数据中心分配对应的域名，域名详情请参见地区和终端节点。
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制？ 并行文件系统是否支持挂载到Windows服务器？
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上，让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时，CDN中缓存的过时数据也需要进行更新，可以使用CDN自动刷新功能来自动
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
功能概述 目前，OBS Browser提供的功能如表1所示： 表1 功能概述 功能 说明 桶基本操作 指定region（不同服务区域）创建不同存储类别的桶、删除桶、修改桶的存储类别等。 对象基本操作 管理对象，包括上传（含多段上传功能）、下载、重命名、移动、复制、删除、通过对象U
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
