检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何发挥SFS Turbo文件系统的最大性能? SFS Turbo文件系统提供了多个IP地址(具体数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/CIFS协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂
project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 resource_id 是 String 资源ID,此处为通用文件系统名。 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Content-type 是 String 发送的实体的MIME类型。
只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 使用场景 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。
在文件系统中存放的单个文件最大支持多少? SFS容量型文件系统支持存放最大为240TB的单个文件。 SFS Turbo文件系统支持存放最大为320TB的单个文件。 通用文件系统支持存放最大为50TB的单个文件。 父主题: 规格类
批量删除资源标签 功能介绍 为指定资源批量删除标签。不支持删除系统标签。删除时,如果删除的标签不存在,默认处理成功。 URI POST /v3/sfs/tms/{project_id}/file-systems/{resource_id}/tags/delete 参数说明 参数 是否必选
当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停
执行以下命令,查看IP地址是否写入成功。 cat /etc/resolv.conf 执行以下命令,验证文件系统域名是否可以解析到IP地址。 nslookup 文件系统域名 文件系统域名请从文件系统的挂载地址中获取。 (可选)在使用DHCP服务的网络环境,需要对“/etc/resolv.con
200 查询项目标签成功。 异常 状态码 描述 400 标签等参数非法。 401 认证失败。 403 鉴权失败。 404 资源未找到。 500 系统异常。 父主题: 标签
通用文件系统挂载后为什么会显示250TB? 通用文件系统容量无限制。用户在客户端上执行df -h时,为了显示需要,系统则直接返回了250TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 其他类
默认企业项目。 现在仅支持系统标签添加操作。 详情说明参见表3。 表3 resource_tag 参数 是否必选 参数类型 描述 key 是 String 标签的键。最大长度为128个字符,不能为空,首尾不支持空格字符,以“_sys_”开头的键属于系统标签,不支持用户输入,可用U
value结构中value是或的关系。无tag过滤条件时返回全量数据。 详细说明参见表3。 sys_tags 否 List<tag> 包含系统标签。仅op_service权限可以使用此字段。 sys_tags和过滤条件without_any_tag 、tags不能同时使用。 目前此字段只包含一个tag结构体:
查询文件系统的某一个权限规则 功能介绍 查询文件系统的某一个权限规则 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访
value结构中value是或的关系。无tag过滤条件时返回全量数据。 详细说明参见表3。 sys_tags 否 List<tag> 包含系统标签。仅op_service权限可以使用此字段。 sys_tags和过滤条件without_any_tag 、tags不能同时使用。 目前此字段只包含一个tag结构体:
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
FullAccess中定义的删除文件系统权限,您可以创建一条拒绝删除文件系统的自定义策略,然后同时将SFS FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对SFS执行除了删除文件系统外的所有操作。拒绝策略示例如下: { "Version": "1.1"
SFS容量型文件系统挂载后为什么容量显示为10P? 历史创建的SFS容量型文件系统如果选择了自动扩容,则文件系统是无容量限制的。用户在客户端上执行df -h时,为了显示需要,系统则直接返回了10P。 父主题: 其他类
表示HTTP请求所指定的SFS资源,构造方式如下: <文件系统名+对象名>+[子资源1] + [子资源2] + ... 文件系统名和对象名,例如:/filesystem/object。如果没有对象名,如列举文件系统,则为"/filesystem/"。如果文件系统名也没有,则为“/”。 如果有子资源,则将子资源添加进来,例如
挂载NFS文件系统子目录到云服务器(Linux) 本章节介绍如何将NFS文件系统的子目录挂载至Linux云服务器上。 前提条件 已参考挂载NFS文件系统到云服务器(Linux)成功将文件系统挂载至Linux云服务器上。 操作步骤 执行如下命令,在本地路径下创建文件系统的子目录。 mkdir
配置hpc缓存型后端信息 功能介绍 配置hpc缓存型后端信息 接口约束 该接口仅适用于HPC缓存型文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST