检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Operating System Interface，POSIX），是IEEE为要在各种UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称。POSIX标准意在期望获得源代码级别的软件可移植性。也就是为一个POSIX兼容的操作系统编写的程序，可以在任何其它的POSIX操作系统上编译执行。
option。 可能原因 Linux云服务器系统未安装NFS客户端，用户在执行挂载命令前未自行安装nfs-utils软件包。 定位思路 安装所需的nfs-utils软件包即可。 解决方法 以下步骤中的命令是以CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler
跨服务器迁移（rclone工具） 方案概述 用户可以将本地NAS存储中的数据，使用rclone工具通过公网或内网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号2
Turbo还具备高可靠和高可用的特点，支持根据业务需要弹性扩容，且性能随容量增加而提升，可广泛应用于多种业务场景，例如企业OA、高性能网站和软件开发等场景。几种不同类型的文件系统请参考文件系统类型。 父主题： 概念类
数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例，PyTorch默认会通过文件接口访问数据，AI算法开发人员也习惯使用文件接口，因此文件接口是最友好的共享存储访问方式。
（每秒读写次数）和各种工作负荷下低时延的需求。 某生物平台需要软件进行大量的基因测序，但业务处理步骤多，业务部署慢，流程复杂，效率低，易出错，所以自建集群跟不上业务发展。但自从使用了提供专业的高性能计算业务流程管理软件，依托云平台的海量计算资源和存储资源，充分结合云平台和高性能计
若以非root用户登录弹性云服务器，具体操作请参考使用非root的普通用户挂载文件系统到Linux云服务器。 安装NFS客户端。 安装NFS客户端。 查看系统是否安装NFS软件包。 CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统下，执行如下命令：
创建文件系统 功能介绍 创建文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/shares 表1
云服务器如ecs-whm，如图1所示。 图1 成功创建云服务器 以root用户登录弹性云服务器。安装NFS客户端。 查看系统是否安装NFS软件包。 CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统下，执行如下命令：
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
通过AITurbo加速保存与加载checkpoint 背景 当前，大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中，故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化
Turbo域名的请求转发到连接DNS服务的终端节点。 不同操作系统中配置DNS转发规则的方法不同，具体操作请参考对应DNS软件的操作指导。 本步骤以Unix操作系统，常见的DNS软件Bind为例介绍： 方式1：在/etc/named.conf文件中增加DNS转发器的配置，“forwarder
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下，用于挂载共享路径实现数据共享。 弹性云服务器（Elastic
通用文件系统错误码 调用接口出错后，将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时，HTTP请求返回一个3xx，4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系华为云客服，并提供错误码，以便我们尽快帮您解决问题。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
跨配额目录红线所示，会穿过黑色虚线。 配额目录： D1，D2_0。 目录深度：根目录/往下到当前目录的层数，例如，目录/D1/D2_0/D3_1深度为4。 配额目录深度：当前目录不断往上找，穿过黑色矩形虚线的层数。例如，目录/D1/D2_0/D3_1配额目录深度为2。 红线与绿线：mv或者link操作，绿色表示允许操作，红色表示不允许操作。
请求使用的文件系统资源路径，在整个系统中唯一标识一个文件系统。 可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口，各种传输协议都有默认的端口号，如HTTP的默认端口为80，HTTPs的默认端口为443。 SF
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
