检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
500 系统异常。 父主题: 标签
如何确认Linux云服务器上的文件系统处于可用状态? SFS容量型文件系统:以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,将会回显指定域名或IP下所有可用的SFS容量型文件系统。 通用文件系统:当前不支持使用。
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
表2 获取文件系统ACL 请求消息头 StringToSign GET /?
操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。 图1 操作流程 父主题: 为文件系统创建普通用户可读写的子目录
父主题: 文件系统管理
用户签名验证 SFS通过AK/SK对请求进行签名,在向SFS发送请求时,客户端发送的每个消息头需要包含由SK、请求时间、请求类型等信息生成的签名信息。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 父主题: 为文件系统创建普通用户可读写的子目录
一个文件系统最多支持同时挂载到多少台云服务器上? 一个SFS容量型文件系统最多支持同时挂载到10000台云服务器上。 一个SFS Turbo文件系统最多支持同时挂载到3000台云服务器上。 一个通用文件系统最多支持同时挂载到10000台云服务器上。 父主题: 规格类
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题: AITurbo AI场景加速
适配pytorch Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置
解决方法 如果已挂载文件系统,请先参考卸载文件系统完成卸载操作。 参考挂载NFS文件系统到云服务器完成挂载前准备。 挂载文件系统时,使用如下命令进行挂载。
(为文件系统添加VPC或添加授权地址) √ x √ 修改文件系统的访问规则(修改文件系统的VPC或授权地址) √ x √ 删除文件系统的访问规则(删除文件系统的VPC或授权地址) √ x √ 扩容文件系统 √ x √ 缩容文件系统 √ x √ 创建文件系统标签 √ x √ 查询文件系统标签
SFS自定义策略样例(以SFS容量型文件系统为例) 示例1:授权用户创建文件系统。
为每个用户创建有读写权限的子目录 前提条件 已创建文件系统,并能通过root账号成功挂载到云服务器上。操作步骤请参考创建文件系统本地目录。 已获取到文件系统的挂载地址。 操作步骤 以root账号登录弹性云服务器。
原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。
云服务器无法访问不在同一VPC下的文件系统,使用弹性文件服务时需将文件系统和云服务器归属于同一VPC下。
计费项 弹性文件服务不同类型的文件系统,如SFS容量型文件系统、通用文件系统、SFS Turbo文件系统都可按需计费。
SFS Turbo不同规格的文件系统之间暂不支持互相转换。 如果希望使用另一种规格的SFS Turbo文件系统,不再需要使用之前规格的文件系统,可以先将原文件系统删除/退订后,重新购买新规格的SFS Turbo文件系统。