检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发
跨配额目录红线所示,会穿过黑色虚线。 配额目录: D1,D2_0。 目录深度:根目录/往下到当前目录的层数,例如,目录/D1/D2_0/D3_1深度为4。 配额目录深度:当前目录不断往上找,穿过黑色矩形虚线的层数。例如,目录/D1/D2_0/D3_1配额目录深度为2。 红线与绿线:mv或者link操作,绿色表示允许操作,红色表示不允许操作。
议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 目录最大深度(单位:层) 100 100 100 最大路径长度(单位:Byte) 1024 4096 4096 最大软链接长度(单位:Byte) 1024
nfs-common 不同操作系统回显会有所不同,如果回显如下类似信息,说明已经成功安装NFS软件包,执行3。如未显示,执行该步骤。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下,回显如下类似信息: libnfsidmap
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的annotation文件:ILSVRC2021win
SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 挂载地址 on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) 挂载成功后,用户可以在云服务器上访问文件系统的子目录,执行读取或写入操作。
单击“Esc”,并输入:wq,保存退出。 执行以下命令,查看IP地址是否写入成功。 cat /etc/resolv.conf 执行以下命令,验证文件系统域名是否可以解析到IP地址。 nslookup 文件系统域名 文件系统域名请从文件系统的挂载地址中获取。 (可选)在使用DHCP服务的网络环境,需要对“/etc/resolv
子网:子网是VPC内的IP地址块,同一个VPC下,子网网段不会重复。通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 说明: 请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。
文件系统使用空间不足,可以扩容吗? 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB和1000MB/s/TiB等类型的SFS Turbo文件系统:支持在线扩容,扩容过程中,正在挂载使用的连接可能存在30%左右的性能抖动;
文件系统可以跨账号挂载使用吗? 支持但不推荐。 针对性能稳定性和延迟要求不高的场景,SFS Turbo文件系统基于VPC的对等连接功能,可以使用跨账号挂载。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: 限制类
每个账号最多可以创建多少个文件系统? SFS Turbo文件系统单次只能创建一个。当需要创建多于20个SFS Turbo文件系统时请单击这里提交工单申请扩大配额。 目前每个账号最多可以创建20个SFS Turbo文件系统。 父主题: 规格类
文件系统中的数据是否可以跨区域迁移? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: 限制类
可以将SFS Turbo标准型升级为性能型吗? 不可以。SFS Turbo不同规格的文件系统之间暂不支持互相转换。 如果希望使用另一种规格的SFS Turbo文件系统,不再需要使用之前规格的文件系统,可以先将原文件系统删除/退订后,重新购买新规格的SFS Turbo文件系统。或者购买新规格的SFS
可以直接从云下访问高性能弹性文件服务吗? SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 父主题: 其他类
文件系统权限管理 概述 您可以给文件系统配置IP鉴权规则,根据不同的IP或网段授予不同的权限。 IP鉴权默认有一个(*,rw,no_root_squash)表示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限可以增删,但需要保证一个文件系统至少有一条权限规则。
创建权限规则 功能介绍 创建权限规则 接口约束 一个文件系统最多可以配置64条权限规则。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{proj
项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在相同的企业项
Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开