检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
SFS容量型API说明 查询API版本 文件共享 共享访问规则 配额管理 扩容缩容 共享标签 可用区
附录 状态码 SFS Turbo错误码 通用文件系统错误码 获取访问密钥(AK/SK) 获取项目ID
规格类 在文件系统中存放的单个文件最大支持多少? 弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
网络类 是否支持跨VPC访问文件系统? 弹性文件服务支持跨区域挂载吗? VPC的安全组是否影响弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办?
训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
容量调整 操作场景 当用户认为文件系统的容量不足或太大时,用户可以通过执行扩容或缩容操作来增加或者缩减文件系统的容量。 约束与限制 SFS容量型文件系统支持在线容量调整,容量调整时对业务无任何影响。并且扩容时文件系统必须处于运行中状态。 SFS Turbo文件系统支持在线扩容,扩
大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):私有访问密钥。与访问密钥ID结合使用,对请求进行加密签名,可标识发送方,并防止请求被修改。
SFS容量型接口 表1 接口说明 文件系统类型 接口类型 子类型 说明 SFS SFS接口 共享标签 共享标签可供给用户对共享进行自定义标记。通过共享标签,用户可以自由地对共享分类管理。 SFS OpenStack原生接口 查询API版本 通过这些接口,可以查询所有API的版本和API版本的详细信息。
授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:默认选项。客户端使用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfs
share_instance_id String 共享实例的ID。 path String 挂载共享时要使用的路径。 is_admin_only Boolean 是否仅管理员和创建的属主可见,如果是true表明只有创建属主用户和具有管理员身份的用户可见,如果是false,表明所有用户都可见。 preferred
授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:默认选项。客户端使用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfs
或者创建新的密钥,请参见《数据加密服务用户指南》的“创建密钥”章节。 哪些用户有权限使用文件系统加密 安全管理员(拥有“Security Administrator”权限)可以直接授权SFS容量型文件系统访问KMS,使用加密功能。 普通用户(没有“Security Adminis
Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的ann
标签 本节指导用户为已有的文件系统添加标签,您还可以在创建文件系统时添加标签,具体请参见创建文件系统。 标签用于标识文件系统,可通过标签实现对文件系统的分类。关于标签的更多详细信息,请参考标签管理服务帮助文档。 约束限制 标签由标签“键”和标签“值”组成。 “键”最大长度为128
加普通用户Tom为例。 adduser Tom passwd Tom 根据回显提示修改普通用户Tom的密码,创建成功后会自动创建用户Tom的主目录/home/Tom。 添加普通用户Tom成功后,再在root的本地目录下使用以下命令为普通用户Tom创建子目录。 由创建文件系统本地目
存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,请先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多 > 删除”或“退订”。 如果需要同时删除多个文件系统,则选中多
提升加载效率。具体地,对于训练中进程级故障、硬件仍然健康的故障场景,主机侧客户端内存缓存仍会保留,本机缓存中的checkpoint仍可正常访问,此时可从主机侧客户端内存中直接加载checkpoint进行原地秒级快速恢复;为避免所有GPU/NPU卡同时从存储中加载checkpoin