检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。
TTPS请求调用,调用方法请参见如何调用SFS容量型/SFS Turbo API。 通用文件系统提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,调用方法请参见如何调用通用文件系统API。 父主题:
授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:默认选项。客户端使用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfs
SFS容量型接口 表1 接口说明 文件系统类型 接口类型 子类型 说明 SFS SFS接口 共享标签 共享标签可供给用户对共享进行自定义标记。通过共享标签,用户可以自由地对共享分类管理。 SFS OpenStack原生接口 查询API版本 通过这些接口,可以查询所有API的版本和API版本的详细信息。
share_instance_id String 共享实例的ID。 path String 挂载共享时要使用的路径。 is_admin_only Boolean 是否仅管理员和创建的属主可见,如果是true表明只有创建属主用户和具有管理员身份的用户可见,如果是false,表明所有用户都可见。 preferred
授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:默认选项。客户端使用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfs
容量调整 操作场景 当用户认为文件系统的容量不足或太大时,用户可以通过执行扩容或缩容操作来增加或者缩减文件系统的容量。 约束与限制 SFS容量型文件系统支持在线容量调整,容量调整时对业务无任何影响。并且扩容时文件系统必须处于运行中状态。 SFS Turbo文件系统支持在线扩容,扩
或者创建新的密钥,请参见《数据加密服务用户指南》的“创建密钥”章节。 哪些用户有权限使用文件系统加密 安全管理员(拥有“Security Administrator”权限)可以直接授权SFS容量型文件系统访问KMS,使用加密功能。 普通用户(没有“Security Adminis
P地址。 本章节Windows系统操作步骤部分以Windows Server 2012版本系统为例。 Linux系统操作步骤 以root用户登录云服务器。 执行vi /etc/resolv.conf命令编辑“/etc/resolv.conf”文件。在已有的nameserver配置
Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的ann
标签 本节指导用户为已有的文件系统添加标签,您还可以在创建文件系统时添加标签,具体请参见创建文件系统。 标签用于标识文件系统,可通过标签实现对文件系统的分类。关于标签的更多详细信息,请参考标签管理服务帮助文档。 约束限制 标签由标签“键”和标签“值”组成。 “键”最大长度为128
存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,请先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多 > 删除”或“退订”。 如果需要同时删除多个文件系统,则选中多
加普通用户Tom为例。 adduser Tom passwd Tom 根据回显提示修改普通用户Tom的密码,创建成功后会自动创建用户Tom的主目录/home/Tom。 添加普通用户Tom成功后,再在root的本地目录下使用以下命令为普通用户Tom创建子目录。 由创建文件系统本地目
告警功能提供对监控指标的告警功能,用户可以对弹性文件服务的核心监控指标设置告警规则,当监控指标触发用户设置的告警条件时,支持以邮箱、短信、HTTP、HTTPS等方式通知用户,让用户在第一时间得知云服务发生异常,迅速处理故障,避免因资源问题造成业务损失。 云监控使用消息通知服务向用户通知告警信息。首
String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。
String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。
/v2/{project_id}/sfs/{share_id}/tags/action 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 share_id 是 String 共享ID。 请求消息头 该操作消息头与普通请求一样,请参见表3。
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文
提升加载效率。具体地,对于训练中进程级故障、硬件仍然健康的故障场景,主机侧客户端内存缓存仍会保留,本机缓存中的checkpoint仍可正常访问,此时可从主机侧客户端内存中直接加载checkpoint进行原地秒级快速恢复;为避免所有GPU/NPU卡同时从存储中加载checkpoin