检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
安装fio 以Linux CentOS系统为例说明： 在官网下载fio。 yum install fio 安装libaio引擎。 yum install libaio-devel 查看fio版本。 fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要
SFS Turbo性能型-增强版：图片渲染、AI训练、企业办公OA 125MB/s/TiB：高性能计算、AI训练、EDA仿真、自动驾驶、渲染 250MB/s/TiB：高性能计算、AI训练、EDA仿真、自动驾驶、渲染 HPC缓存型：影视渲染、AI训练、自动驾驶 支持区域： 全部 文件系统类型
单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力，可用于解决计算密集型、海量数据处理等业务的计算需求，如应用于工业设计CAD/CAE，生物科学，能源勘探，图片渲染和异构计算等涉及高性能计
安装fio 以Linux CentOS系统为例说明： 在官网下载fio。 yum install fio 安装libaio引擎。 yum install libaio-devel 查看fio版本。 fio --version 通用测试配置样例 以下提供的预估值为单台弹性云服务器E
套餐，提前规划资源的使用额度和时长。在欠费时，您需要及时（15天之内）续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面，根据提示信息完成注册。
SFS.TURBO.0104 Failed to import or export OBS data obs导入导出操作失败 请重新导入导出obs，若问题未解决，请联系技术支持 500 SFS.TURBO.0105 Failed to obtain OBS import and export
应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。
套餐，提前规划资源的使用额度和时长。在欠费时，您需要及时（15天之内）续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面，根据提示信息完成注册。
值也不建议使用非ASCII码或不可识别字符，如果一定要使用非ASCII码或不可识别字符，需要客户端自行做编解码处理，可以采用URL编码或者Base64编码，服务端不会做解码处理。 当请求头字段中含有无意义空格或table键时，需要摒弃。例如：x-obs-meta-name: na
图2 加载checkpoint流程 安装AITurbo SDK 请联系技术支持获取AITurbo的安装包aiturbo_xxx.whl（xxx为AITurbo组件信息及版本号信息），并上传到环境。 安装AITurbo依赖包。 AITurbo依赖rpyc，setproctitl
allows to avoid `Too many authentication failures for *username*` errors when the ssh-agent contains many keys. Enter a boolean value (true or
日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表3 SFS Turbo上一代文件系统
日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表4 SFS Turbo上一代文件系统
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
bss_param 否 BssInfo object 包周期付费模式，需要填写该参数 表4 Share 参数 是否必选 参数类型 描述 availability_zone 是 String 文件系统所在可用区(az)的编码 description 否 String 文件系统描述信息，长度为0~255。当前不支持。
监控安全风险 SFS提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的文件存储系统的使用情况，执行自动实时监控、告警和通知操作。用户可以实时监控弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS支持的监控指标，以及如何创建监控告警规则等内容，请参见监控。
启该功能； nconnect功能开启后，可以提升NFS客户端与服务端之间的吞吐性能，最终性能阈值受限于文件系统服务端的能力及客户端网卡或CPU等资源能提供的能力。 操作步骤 在挂载NFS文件系统的命令中，增加nconnect参数，建议设置nconnect=4。示例如下： mount
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
对于I/O密集型的网站业务，SFS Turbo为多个Web Server提供共享的网站源码目录，存储，提供低延迟，高IOPS的并发共享访问能力。业务特点： 大量小文件：存放网站静态文件，包括HTML文件，Json文件，静态图片等。 读I/O密集：业务以小文件读为主，数据写入相对较少。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
