检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS使用指南 概念介绍 OBS推流工具 OBS（Open Broadcaster Software）是一款直播流媒体内容制作软件。 OBS收费模式 免费，程序和源代码都不收费。 下载与安装 请从OBS官网选择适合您操作系统的版本下载即可。下载完成后，请根据引导完成安装。
通过OBS SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装，以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。
不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶，不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS
Turbo的AI云存储解决方案，如图所示，华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
个弹性云服务器ECS，容器CCE&CCI，裸金属服务器BMS提供共享访问。 如何迁移？ SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上，对于SFS Turbo和OBS之间的数据迁移，可以理解为服务器与OBS或者容器与OBS之间的数据迁移，其中服务器或容器中的数据存放在所挂载的SFS
Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响，默认是16Gbit/s，如果大模型训练生成的Checkpoint文件过大、导出速度过慢，可提交工单申请调大OBS服务的写入带宽。 父主题： 基本配置
有关对象存储服务的更多介绍，请参见《对象存储服务产品简介》。 父主题： 简介
件名或子目录名。 开启WORM策略的OBS桶，只能从OBS桶导入数据到SFS Turbo，无法从SFS Turbo导出数据到OBS桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 绑定OBS桶 登录高性能弹性文件服务管理控制台。 在文件系统列表中，单击
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例，专属资源池提供独享的计算资源，可用于
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。
求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，在时延、带宽等存储性能上无法满足高性能AI训练，建议使用SFS Turbo HPC型高性能文件系统加
Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
果选择“可视化视图”请跳转至该步骤，如果选择“JSON视图”请跳转至该步骤。 在“策略内容”下配置策略。 选择“允许”。 选择云服务，勾选“弹性文件服务(SFSTurbo)”。 选择“操作”，勾选只读操作“sfsturbo:shares:showShareNic”、“sfstur
HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响，默认是16Gbit/s，如果导入导出速度受到OBS读写带宽上限影响，可提交
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移？ 如何将SFS Turbo部署至CCE？ SFS Turbo文件系统中的数据可以跨区域迁移吗？ 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移？
最新动态 本文介绍了高性能弹性文件服务 SFS Turbo各特性版本的功能发布和对应的文档动态，欢迎体验。 2019年9月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo增强版商用 SFS Turbo标准型-增强版： 最大带宽可达1GB/s，最高IOPS为15K。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
