检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
CDN下载简介 在OBS控制台上配置用户域名绑定和CDN加速，配置成功后，OBS Browser可查询到该配置记录。然后在OBS Browser上启用CDN下载，以实现在OBS Browser上下载对象时，从CDN加速节点获取，提高下载速度。 启用CDN下载时，需先将桶访问权限设置为公共读或者将桶内对象访问权限设置为公共读
约束与限制 本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写（GET/PUT）带宽上限是16Gbit/s。如果带宽达到该阈值，请求会触发流控。 如果您的业务有更大的带宽需求，请提交工单申请。 每秒请求数
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
通过对象URL访问对象 对象URL（对象共享）功能，可实现匿名用户通过对象共享链接地址，直接访问对象数据。 前提条件 已通过管理控制台设置匿名用户读取该指定对象的权限。 操作步骤 登录OBS Browser。 单击待操作的桶，进入桶界面。 选中待配置的对象，单击需要共享的对象右侧的
设置CDN加速后，处理过的图片存储在哪里？ 用户通过CDN访问图片处理服务，CDN会对处理后的图片做缓存，此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时，由CDN直接返回处理后的效果，不会再次访问图片处理服务，也不会对此次图片处理请求进行计费。 父主题： 图片处理
快速入门(Go SDK) 准备访问密钥 OBS通过用户账户中的AK和SK进行签名验证，确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明： AK：Access Key ID，接入键标识，用户在对象存储服务系统中的接入键标识，一个接入键标识唯一对应一个用户，一个用户可以同时拥有多个接入键标识
为什么会存在CNAME解析状态为未知的情况？ 当用户绑定的域名不是华为云域名注册服务提供的域名时，无法确认用户对该域名的拥有权，此时CNAME解析状态为未知。 在CNAME解析状态为未知的情况下，需要用户自行配置解析规则，具体配置方法请参见配置CNAME。 父主题： 域名管理
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
设置桶的CORS配置(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 跨域资源共享（Cross Origin Resource Sharing，CORS）是由W3C标准化组织提出的一种网络浏览器的规范机制
创建桶(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器，您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Node.js SDK创建桶。 调用创建桶接口，将在当前账号按照用户指定的桶名创建一个新桶
设置桶的自定义域名(Go SDK) 功能介绍 调用设置桶的自定义域名配置接口，您可以为指定设置桶的自定义域名信息。 接口约束 您必须是桶拥有者或拥有设置桶的自定义域名的权限，才能设置桶的自定义域名信息。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:bucket:PutBucketCustomDomainConfiguration
删除桶的自定义域名 功能介绍 OBS使用DELETE操作来删除桶的自定义域名。 请求消息样式 1 2 3 4 5 6 DELETE /?customdomain=domainname HTTP/1.1 User-Agent: curl/7.29.0 Host: bucketname.obs.cn-north
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
