检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件系统中的数据是否可以跨区域迁移? 暂时不支持直接跨区域迁移文件系统数据,您需要在购买文件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
挂载NFS协议类型文件系统到云服务器(Linux) 当创建文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 CIFS类型的文件系统不支持使用Linux操作系统的云服务器进行挂载。 同一SFS容量型文件系统不能同时支持NFS协议和CIFS协议。
示例:挂载NFS文件系统到云服务器(Linux) 创建文件系统,在多个云服务器中挂载使用,实现文件系统的共享访问。 创建文件系统前,确认是否创建VPC和ECS,并将ECS归属到已创建的VPC下。如果VPC不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 本指南以
访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。
增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本
储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件
挂载NFS文件系统子目录到云服务器(Linux) 本章节介绍如何将NFS文件系统的子目录挂载至Linux云服务器上。 前提条件 已参考挂载NFS文件系统到云服务器(Linux)成功将文件系统挂载至Linux云服务器上。 操作步骤 执行如下命令,在本地路径下创建文件系统的子目录。 mkdir
挂载NFS协议类型文件系统到云服务器(Windows) 当创建文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 本章节以Windows 2012版本操作系统为例进行NFS文件系统挂载,其他版本请参考以下主要步骤根据实际界面进行配置。 同一
配置多VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。使用弹性文件服务时,文件系统和云服务器归属于同一VPC下才能文件共享。 VPC可以通过网络ACL进行访问控制。网络ACL是对一个或多个子网的访问控制策略系
Integer 共享容量,单位GB。 consistency_group_id String (API 微版本2.31到2.42支持)一致性组的ID,当前不支持一致性组,该字段当前无意义。 project_id String 创建共享的项目的ID。 metadata Object 一到多个
文件系统挂载失败 现象描述 使用mount命令挂载文件系统到云服务器,云服务器提示“access denied”,挂载失败。 可能原因 原因1:文件系统已被删除。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 原因3:挂载命令中的挂载地址输入错误。 原因4:使用虚拟IP访问弹性文件服务。
Key):私有访问密钥。与访问密钥ID结合使用,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
String 共享的ID。 size Integer 共享容量,单位GB。 consistency_group_id String 一致性组的ID,当前不支持一致性组,该字段当前无意义。(API 微版本2.31到2.42支持) project_id String 创建共享的项目的ID。 metadata
String 共享的ID。 size Integer 共享容量,单位GB。 consistency_group_id String 一致性组的ID,当前不支持一致性组,该字段当前无意义。(API 微版本2.31到2.42支持) project_id String 创建共享的项目的ID。 metadata
printStackTrace(); } } } 根据请求字符串(StringToSign)和用户SK使用如下算法生成Signature,生成过程使用HMAC算法(hash-based authentication code algorithm)。 Signature = Base64(
创建文件系统 操作场景 文件系统是SFS中存储文件的容器。您需要先创建一个文件系统,然后才能在SFS中存储数据。 下面介绍如何调用创建文件系统API在指定的区域创建一个文件系统,API的调用方法请参见如何调用通用文件系统API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。
请使用合法的flavor 400 SFS.TURBO.0021 file system not match 类型不匹配,同一实例类型不满足磁盘一致性 请确保同一实例类型满足磁盘一致性 400 SFS.TURBO.0022 backup name already exists 备份名称已经存在 请更换备份名称
通过云专线迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rclone工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通
通用文件系统错误码 调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP请求返回一个3xx,4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系华为云客服,并提供错误码,以便我们尽快帮您解决问题。
checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都