检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo中的目录,与挂载点无关。 前提条件 已创建文件系统。更多信息,请参见创建文件系统。 已根据业务场景,完成挂载文件系统并创建了目录,或通过创建目录的API创建了目录。 使用限制 当前仅20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、
为每个用户创建有读写权限的子目录 前提条件 已创建文件系统,并能通过root账号成功挂载到云服务器上。操作步骤请参考创建文件系统本地目录。 已获取到文件系统的挂载地址。 操作步骤 以root账号登录弹性云服务器。 使用以下命令在root账号下使用以下命令添加普通用户账号,下面以添加普通用户Tom为例。
买通用文件系统,可复用SFS容量型资源包;已购买该产品的用户建议您将数据迁移到通用文件系统或者SFS Turbo。 如您有任何问题,可随时通过提交工单解决。
该接口为异步接口,返回为200只是表示接口下发接收成功,后续可以通过查询共享详细信息查询共享的共享状态和共享路径,判断创建共享是否完成以及是否成功,如果共享状态变为available,或者共享路径已经生成,说明创建已经成功。 通过该接口创建共享成功后,用户还需要参考添加共享访问规则添加共
标签 本节指导用户为已有的文件系统添加标签,您还可以在创建文件系统时添加标签,具体请参见创建文件系统。 标签用于标识文件系统,可通过标签实现对文件系统的分类。关于标签的更多详细信息,请参考标签管理服务帮助文档。 约束限制 标签由标签“键”和标签“值”组成。 “键”最大长度为128
资源包管理 操作场景 当您需要了解已购买的通用文件系统资源包使用详情时,可以在SFS控制台的“资源包管理”页面查看。通过资源包管理,您可以快速掌握各类资源包的状态、余量、起止时间、订单号、使用明细等信息。 背景知识 SFS的计费模式分为按需计费和包年包月,包年包月的方式即提前购买
加密文件系统使用的是密钥管理服务(KMS)提供的密钥,无需您自行构建和维护密钥管理基础设施,安全便捷。当用户希望使用自己的密钥材料时,可通过KMS管理控制台的导入密钥功能创建密钥材料为空的自定义密钥,并将自己的密钥材料导入该自定义密钥中。具体操作请参见《数据加密服务用户指南》中“导入密钥”章节。
生命周期管理 低频存储 通用文件系统支持通过配置生命周期规则,将设定时间内通用文件系统文件转换为低频存储,从而节约成本。 低频存储具有以下优势: 配置简单,无须编写脚本或手动迁移数据 您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。
弹性文件服务提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器和裸金属服务器等提供共享访问。如果用户需要使用完全托管的共享文件存储,希望可以通过多个云上服务器共享访问一个文件系统,则可以使用弹性文件服务。 下面介绍如何调用创建共享API创建文件共享,API的调用方法请参见如何调用API。
的IP或网段授予不同的权限。 在控制台新创建的通用文件系统默认有一条VPC权限配置(读写,root用户不匿名,所有IP地址),表示所有用户通过该VPC都有读写权限且不进行权限降级的权限,该权限可以被编辑或删除。 使用限制 不支持一个IP同时匹配两条规则。 网段类型 网段类型配置可以采用CIDR格式网段配置方式。
在旧版事件列表查看审计事件 使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查
大规模AI训练、AI大模型、AIGC 表4 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS 5K 15K 20K 100K 2000k
大规模AI训练、AI大模型、AIGC 表3 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS 5K 15K 20K 100K 2000k
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
时需将文件系统和云服务器归属于同一VPC下。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 父主题: 为文件系统创建普通用户可读写的子目录
减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果
生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场
数据迁移 迁移说明 通过云专线迁移 使用公网迁移 文件系统之间迁移数据 父主题: 其他操作
"500M"表示500MB/s/TiB "1000M"表示1000MB/s/TiB "2G"、"4G"、"8G"、"16G"、"24G"、"32G"或"48G"表示HPC缓存型的带宽规格。 instanceId String 文件系统规格的节点id,为预留字段,不具备实际含义。 instanceType String
该参数仅支持管理员权限用户使用。创建共享的项目的ID。需要参数配合all_tenants使用。 status 否(查询参数) String 通过共享状态过滤。参数取值如下: creating:正在创建共享 error:共享创建失败 available:共享可以使用 deleting:共享正在被删除