检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务拆分后,新购高性能弹性文件服务SFS Turbo实例在订购关系、计费话单、账单里显示的产品类型将由“弹性文件服务SFS”变更为“高性能弹性文件服务SFS Turbo”。未免疑义,本次高性能弹性文件服务SFS Turbo从弹性文件服务SFS独立拆分,不会对华为云与您之间已生效的华为云服务网站规定的协议和政策、订
体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxx
Engine,CCE&Cloud Container Instance,CCI),裸金属服务器(Bare Metal Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查询、删除、更新等。支持的全部操作请参见API概览。 在调用高性能弹性文件服
Turbo文件系统不再使用需要删除时,建议您先卸载已挂载的SFS Turbo文件系统后再删除。 前提条件 卸载文件系统前建议先终止进程和停止读写再卸载。 Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path”。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
在IAM控制台页面的左侧导航窗格中选择“委托”,单击右上方的“创建委托”。 在创建委托页面,设置“委托名称”,例如设置为“modelarts_agency”。 “委托类型”选择“云服务”,在“云服务”中选择“ModelArts”,持续时间根据用户需要选取,单击“下一步”,进入给委托授权页面。 勾选步骤1到4创
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使
训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录高性能弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。
Private Cloud,VPC) 创建文件系统 IAM是支撑企业级自助的云端资源管理系统,具有用户身份管理和访问控制的功能。当企业存在多用户访问高性能弹性文件服务时,可以使用IAM新建用户,以及控制这些用户账号对企业名下资源具有的操作权限。 统一身份认证服务(Identity and Access
连接管理 修改文件系统绑定的安全组 父主题: API
SFS Turbo时延测试 本文以SFS Turbo性能增强型,云服务器规格如下为例说明。 规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1
Turbo文件系统提供了多个IP地址(具体数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。
本。 配置流程 整理好需要上传的基因测序文件。 登录高性能弹性文件服务控制台,创建一个文件系统用于存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
如下: 使用资源ID查找资源,并删除资源 登录管理控制台,在顶部菜单栏中选择“费用 > 费用账单”。 进入费用账单消费汇总页面。 选择“流水和明细账单 > 明细账单”,在如下图所示位置单击鼠标左键,复制资源ID。 图1 复制资源ID 登录管理控制台,选择“存储 > 弹性文件服务”。
String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。
String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。
提升加载效率。具体地,对于训练中进程级故障、硬件仍然健康的故障场景,主机侧客户端内存缓存仍会保留,本机缓存中的checkpoint仍可正常访问,此时可从主机侧客户端内存中直接加载checkpoint进行原地秒级快速恢复;为避免所有GPU/NPU卡同时从存储中加载checkpoin
结合业务场景,参考文件系统类型,选择正确的文件系统类型。 并发数过高或过低 并发数过高或过低均有可能导致文件系统性能变差,请提交工单进行技术咨询。 本地网络故障,访问文件系统较慢 如果存在网络故障,解决网络故障,确保网络正常。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。