检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/SMB协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。
包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于可预估资源使用周期的场景。 按需计费:一种后付费模式,即先使用再付费,按照实际使用时长计费。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。
功能概览 表1列出了高性能弹性文件服务的常用功能。 在使用高性能弹性文件服务之前,建议您先通过产品基本概念介绍了解NFS、SMB等基本概念,以便更好地理解高性能弹性文件服务提供的功能。 表1 高性能弹性文件服务常用功能 功能名称 功能描述 发布区域 NFS协议 NFS(Network
加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口,并将发到其上的流量加密转发到SFS Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令
件服务控制台创建备份。 使用备份创建新文件系统有以下方式: 方式一:在云备份控制台使用备份创建新文件系统,详情请参见在云备份控制台使用备份创建新文件系统。 方式二:在高性能弹性文件服务控制台使用备份创建新文件系统,详情请参见在高性能弹性文件服务控制台使用备份创建新文件系统。 在云备份控制台创建备份操作步骤
当用户认为文件系统的容量不足时,用户可以通过执行扩容操作来增加文件系统的容量。 约束与限制 SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,正在挂载使用的连接会感知30秒左右的IO延迟(最长可能为3分钟),建议业务低峰期扩容。注意扩容时文件系统必须处于运行中状态。 暂无法直接对SFS Turb
该接口可以删除文件系统目录。 查询目录资源使用情况 该接口可以查询目录资源使用情况(包括子目录的资源)。 权限管理接口 表8 权限管理接口 接口 说明 创建权限规则 该接口可以创建权限规则。 查询文件系统的权限规则列表 该接口可以查询文件系统的权限规则列表。 查询文件系统的某一个权限规则
创建文件系统异步任务,仅支持异步查询目录资源使用情况,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。如果存在10个正在执行的任务,则不允许创建新任务。该接口并发请求数过大可能会影响文件系统性能,建议同时提交的查询请求不要超过4
Turbo的API接口创建SFS Turbo文件系统,展示如何使用API接口。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在
Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中,HPC缓存型文件系统还可按带宽大小收费)。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。 表1 SFS Turbo 计费模型 计费项 计费因子 20MB/s/TiB
服务、包年/包月的弹性云服务器等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。进入宽限期或保留期的包年/包月的SFS
约束与限制 命名类限制 表1 命名类限制 限制项 说明 SFS Turbo文件系统名称 创建的文件系统名称只能由英文字母、数字、下划线和中划线组成,输入长度需大于等于4个字符并小于等于64个字符,并以字母开头。 标签的键 标签的“键”最大长度为128个字符,可以包含任意语种的字母、数字和空格,以及_
获取访问密钥(AK/SK) IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。
详情请参见:IAM与企业管理的区别。 “√”表示支持,“x”表示暂不支持。 高性能弹性文件服务支持的自定义策略授权项如下所示: 【示例】文件系统,包含SFS Turbo所有文件系统接口对应的授权项,如创建文件系统、查询文件系统列表、查询单个文件系统详情、修改文件系统、删除文件系统等接口。
OneFsTaskResp objects 任务列表 表5 OneFsTaskResp 参数 参数类型 描述 task_id String 任务ID status String 任务状态, SUCCESS表示成功,DOING表示正在执行,FAIL表示失败 dir_usage FsDuInfo
同时更加灵活地按需使用文件系统。 包年/包月转按需,需包年/包月资费模式到期后,按需的资费模式才会生效。 约束与限制 目前暂不支持在高性能弹性文件服务控制台进行包年/包月转按需操作,需要在“费用中心 > 续费管理”页面操作。 前提条件 只有订单状态是“使用中”的文件系统才能执行包年/包月转按需。
密钥名称是密钥的标识,您可以通过“密钥名称”选择需要使用的密钥。在下拉列表中选择已有的密钥,或者单击“查看密钥列表”创建新的密钥,具体请参见《数据加密服务用户指南》的“创建密钥”章节。 密钥ID 选择密钥名称后系统会自动生成对应的密钥ID。 密钥加密算法 选择密钥名称后系统会自动生成对应的密钥加密算法。
nfs文件 .nfs文件一定是需要被清理的文件,您可以直接使用rm -f命令进行删除,删除之后不会影响文件系统的正常使用。直接删除.nfs文件如果报错,类似如下场景: 图1 删除.nfs文件报错 图中情况则表明有程序仍然在使用该文件,可以使用lsof命令来查看进程号。 图2 查看进程号 如
创建加密文件系统的具体操作请参见创建SFS Turbo文件系统。 卸载加密文件系统 如果加密文件系统使用的自定义密钥被执行禁用或计划删除操作,当操作生效后,使用该自定义密钥加密的文件系统仅可以在一段时间内(默认为30s)正常使用。请谨慎操作。 卸载文件系统的具体操作请参见卸载SFS Turbo文件系统。
练集群规模较大,存储带宽较低的场景下,加载耗时可能会达到小时级,严重影响训练恢复。因此,我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能,当前流行的两种大模型训练框架Megatron进行简单适配便可使用。 加速保存checkpoint 在保存check