检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题： AITurbo AI场景加速
存，也不信任标记为negative的缓存，达到禁用缓存的效果。 解决方法 如果已挂载文件系统，请先参考卸载文件系统完成卸载操作。 参考挂载NFS文件系统到云服务器完成挂载前准备。 挂载文件系统时，使用如下命令进行挂载。 mount -t nfs -o vers=3,timeo=600
适配pytorch Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量，命令如下所示： AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本，
当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统，耗时与模型大小、存储的IO性能等密切相关，往往需要几分钟到几十分钟不等，为了保证训练状态的一致性，保存checkpoint时训练必须暂停
03 入门 带您快速上手使用弹性文件服务，创建文件系统，并将文件系统挂载至不同系统类型的服务器进行使用。 入门指导 步骤1：准备工作 步骤2：创建文件系统 步骤3：挂载文件系统 步骤4：卸载文件系统 05 实践 您可以使用弹性文件系统作为数据存储，满足不同场景的业务需求。 典型应用举例
如果创建加密的SFS容量型文件系统，将会使用用户填写的kms密钥进行加密。注意，该密钥如果删除，该文件系统的数据将无法使用。 SFS Turbo文件系统： 创建SFS Turbo文件系统时，会在用户填写的子网下创建多个私有IP和虚拟IP。 创建SFS Turbo文件系统时，会在用户填写的安
Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
FullAccess中定义的删除文件系统权限，您可以创建一条拒绝删除文件系统的自定义策略，然后同时将SFS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对SFS执行除了删除文件系统外的所有操作。拒绝策略示例如下： { "Version": "1.1"
Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和
为每个用户创建有读写权限的子目录 前提条件 已创建文件系统，并能通过root账号成功挂载到云服务器上。操作步骤请参考创建文件系统本地目录。 已获取到文件系统的挂载地址。 操作步骤 以root账号登录弹性云服务器。 使用以下命令在root账号下使用以下命令添加普通用户账号，下面以添加普通用户Tom为例。
配置完成后，单击“立即创建”，完成文件系统创建。 Linux系统ECS挂载操作请参见挂载NFS文件系统到云服务器（Linux）；Windows系统ECS挂载操作请参见挂载NFS文件系统到云服务器（Windows）和挂载CIFS文件系统到云服务器（Windows）。 登录头节点，将需要上传的基因测序文件上传到挂载的文件系统。
B的授权IP地址内，但该云服务器无法挂载属于VPC B下的文件系统。弹性云服务器和文件系统所使用的VPC需为同一个。 通用文件系统 登录弹性文件服务管理控制台。 左侧导航栏选择“通用文件系统”，跳转到通用文件系统控制台。 在文件系统列表中，单击目标文件系统名称进入文件系统基本信息页面。 单击左侧导航栏“权限管理”，进入权限列表界面。
创建权限规则 功能介绍 创建权限规则 接口约束 一个文件系统最多可以配置64条权限规则。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{proj
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
期后的状态说明，请参见到期后影响。 续费相关的功能 包年/包月SFS续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月SFS从购买到被自动删除之前，您可以随时在SFS控制台为文件系统续费，以延长文件系统的使用时间。 自动续费 开通自动续费后，SFS
Linux内核5.4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期，如何处理？ 问题描述 在Linux内核5.4版本之后的客户端上挂载NFSv3协议的文件系统，使用cp或dd等方式触发顺序读业务场景，读带宽与每秒请求数明显不符合预期。 问题原因 预读机制：访问内存
计费项 弹性文件服务不同类型的文件系统，如SFS容量型文件系统、通用文件系统、SFS Turbo文件系统都可按需计费。SFS容量型文件系统、通用文件系统、SFS Turbo文件系统计费项都是存储空间费用；其中SFS Turbo文件系统的HPC缓存型除存储空间计费外，还可以按“带宽大小”计费项来计费。
删除文件系统限制 删除通用文件系统后，需要等待30分钟才能创建同名通用文件系统。 挂载的操作系统限制 不支持挂载至32位的Linux系统云服务器。 不支持挂载至Windows系统的云服务器。 修改文件系统内根目录权限 不支持 CCE/CCI容器场景下使用限制 使用通用文件系统作为后
备份等。 时延是指低负载情况下的最低延迟，非稳定时延。 10MB以上为大文件，1MB以上为大IO。 SFS容量型和通用文件系统不适合海量小文件业务，推荐使用SFS Turbo文件系统。 SFS容量型文件系统目前已售罄，请使用通用文件系统，涉及数据迁移的客户可提交工单解决。 SFS
Turbo不同规格的文件系统之间暂不支持互相转换。 如果希望使用另一种规格的SFS Turbo文件系统，不再需要使用之前规格的文件系统，可以先将原文件系统删除/退订后，重新购买新规格的SFS Turbo文件系统。或者购买新规格的SFS Turbo文件系统后，完成文件系统之间的数据迁移，再将原文件系统删除/退订即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
