检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
在执行命令之后写入的数据，不能保证完全同步。 前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置，保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统，并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划
Turbo 背景说明 用户可以将本地NAS存储中的数据，通过公网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS
Interface，POSIX），是IEEE为要在各种UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称。POSIX标准意在期望获得源代码级别的软件可移植性。也就是为一个POSIX兼容的操作系统编写的程序，可以在任何其它的POSIX操作系统上编译执行。 NFS NFS（Network File
予IAM用户细粒度的SFS Turbo权限，用来控制文件系统的读写权限。 支持区域： 全部 权限管理概述 NFS协议 修改子网网络信息 NFS（Network File System），即网络文件系统。一种使用于分散式文件系统的协议，通过网络让不同的机器、不同的操作系统能够彼此分
M自定义策略授予IAM用户细粒度的SFS Turbo权限，用来控制文件系统的读写权限。 全部 备份SFS Turbo文件系统 备份是文件系统在某一时间点的完整备份，记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时，可快速使用备份恢复数据。
配置流程 整理好需要上传的基因测序文件。 登录高性能弹性文件服务控制台，创建一个文件系统用于存放基因测序文件。 登录作为头节点和计算节点的云服务器，挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点，直接对挂载的文件系统中的基因测序文件进行编辑。
对于按需计费模式的资源，例如按需计费的高性能弹性文件服务、按需计费的弹性云服务器等，如果不再使用这些资源且需停止计费，请删除相应资源。 通过账单查找云服务资源并停止计费 为了确保所有计费资源都能够被找到并删除，您可以在费用账单中获取计费资源的ID，通过这些ID信息找到具体的资源，然后将其一一删除。具体操作如下：
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题： 使用前必读
String 用户在某一区域下的安全组ID。 share_proto 是 String 文件系统共享协议，有效值为NFS。NFS（Network File System），即网络文件系统。一种使用于分散式文件系统的协议，通过网络让不同的机器、不同的操作系统能够彼此分享数据。 share_type
障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统，耗时与模型大小、存储的IO性能等密切相关，往往需要几分钟到几十分钟不等，为了保证训练状态的一致性，保存checkpoint时训练必须暂停，保存时间影响了训练过程的整体效
场景介绍 提供多个业务节点提供共享的日志输出目录，方便分布式应用的日志收集和管理。业务特点： 多个业务主机挂载同一个共享文件系统，并发打印日志。 大文件小I/O：单个日志文件比较大，但是每次日志的写入I/O比较小。 写I/O密集型：业务以小块的写I/O为主。 配置流程 登录高性能弹性文件服务控制台，创建一个SFS
查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则，将解析SFS Turbo域名的请求转发到连接DNS服务的终端节点。 不同操作系统中配置DNS转发规则的方法不同，具体操作请参考对应DNS软件的操作指导。 本步骤以Unix操作系统，常见的DNS软件Bind为例介绍：
射到后端的一个IP，可能导致客户端与服务端的网络连接分布不均，从而无法充分利用服务端分布式集群能力。 当客户端数量较少时，如果希望最大限度地利用文件系统性能，一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式，可以更均匀地分布客户端与服务端的网络连接，
文件系统类型 本章节介绍了各种类型的SFS Turbo文件系统的特点、优势及应用场景。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB/s
获取项目ID 操作场景 在调用接口的时候，部分URL中需要填入项目ID，所以需要获取到项目ID。有如下两种获取方式： 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https:
Server访问同一个SFS Turbo后台，实现网站业务的高可用。 配置流程 整理好网站文件。 登录高性能弹性文件服务控制台，创建一个SFS Turbo文件系统用于存放网站文件。 登录作为计算节点的云服务器，挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。
/TiB、HPC缓存型文件系统返回该字段。第三位表示目录所有者的权限，第四位表示目录所属用户组的权限，第五位表示其他用户的权限。目录所有者由uid指定，目录所属用户组由gid指定，不是目录所有者且不在目录所属用户组的用户为其他用户。例如：40755中第三位7代表目录所有者对该目录
只能对配额目录修改配额，配额需高于原配额。 必须要提供的3个参数： 配额路径：目录绝对路径。 配额容量：单位为MiB，表示用户在配额路径下所拥有文件和目录的最大存储量。 配额文件数：表示用户在配额路径下所拥有文件和目录的最大数量。 删除与查询配额 必须要提供的1个参数： 配额路径：目录的绝对路径。 FAQ 为什么添加目录配额失败？
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
