检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
回源功能主要参数。 类型：Container 是 agency 委托名。客户通过委托赋予OBS服务查询用户桶内指定对象是否存在以及向用户桶内上传对象的权限。 类型：String 是 publicSource 公共可访问源端配置。当源端为公共可访问的资源时，必选。 类型：Container 否 sourceEndpoint
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
SDK公共响应头 调用ObsClient类的相关接口成功后，均会返回公共响应头类，即HeaderResponse类实例（或其子类实例），该类包含了HTTP/HTTPS的响应头信息。 处理公共响应头的示例代码如下： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风
桶用量统计 OBS支持在对象存储控制台上查看所有桶或单个桶的存储、流量和请求的情况。 此功能需要在区域级项目配置云监控的权限策略ces:metricData:list，才能看到用量统计。配置方法请参见Cloud Eye自定义策略。 使用场景 OBS为您提供了如表1所示的几种统计分析项，帮助您了解如下信息：
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
Service）。对象存储服务提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 您可以使用本文档提供的API对OBS进行相关操作，如创建、修改、删除桶，上传、下载、删除对象等。支持的全部操作请参见API概览。
当该桶不支持用量统计时，“用量分析”卡片在此处不展示。 在“监控告警”下查看桶的告警类型及次数，单击右上角“告警详情”可进入“云监控服务-告警记录”页面查看详情，如下所示。 图3 桶的监控告警信息 当该桶不支持用量统计时，“监控告警”卡片在此处不展示。 在“域名信息”下查看桶的域名信
流式上传、表单上传、多段上传在上传结束之后内容是固定的，只能读取，不能修改。如果Object内容发生了改变，只能重新上传同名的Object来覆盖之前的内容。 对于上传日志、视频监控和视频直播等领域生成的实时视频流，使用以上上传方式，会存在软件架构复杂、客户端发送请求频繁造成服务器压力大、数据延时等问题。为了解决以上问
设置用户权限 创建IAM委托 通过CES服务监控桶的上传流量、下载流量、GET类请求次数、PUT类请求次数、GET类请求首字节平均时延、4xx异常次数和5xx异常次数。 云监控服务（Cloud Eye Service） Cloud Eye控制台监控指标 通过CTS服务收集OBS资源操作记录，便于日后的查询、审计和回溯。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
重写响应头 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象时，可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表： 参数 作用 ResponseContentType
DIS消息通知 内容审核 视频内容审核 其他 事件延迟 自定义 图像标签 模板作用：能准确识别自然图片中数百种场景、上千种通用物体及其属性。让智能相册管理等功能更加直观。该模板实际调用的是Image服务的图像标签接口。 表2 图像标签属性配置说明 属性类别 参数名称 参数说明 基本属性
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，进入自定义策略配置页面。 输入“策略
x-obs-grant-write-acp String 否 参数解释： 创建对象时，使用此头域授权domain下所有用户有写对象ACL的权限。 示例：x-obs-grant-write-acp: id=domainID。 约束限制： 如果授权给多个租户，需要通过“,”分隔。 取值范围： 需要为正确
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
