检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用文件系统挂载后为什么会显示250TB? 通用文件系统容量无限制。用户在客户端上执行df -h时,为了显示需要,系统则直接返回了250TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 其他类
Header中携带签名 通用文件系统的所有API接口都可以通过在header中携带签名方式来进行身份认证。 在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息,消息头域的格式为: Authorization: OBS AccessKeyID
更新目标文件夹quota 功能介绍 更新目标文件夹quota 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/sfs-turbo
通过标签查询文件系统列表 功能介绍 通过标签查询文件系统列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer
删除目标文件夹quota 功能介绍 删除目标文件夹quota。 接口约束 只支持对空目录进行删除quota。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(
为什么在执行目录遍历操作时响应速度变慢 如果您在执行通用文件系统目录遍历操作时响应速度变慢,可能原因如下所示: 目录正在被修改:例如您正在执行创建、删除等操作。 目录下文件或子目录数量过大。 解决方案: 将单目录下的文件或子目录数量控制到1万以下,避免目录体量过大。 在执行目录遍历操作时
在文件系统中存放的单个文件最大支持多少? SFS容量型文件系统支持存放最大为240TB的单个文件。 SFS Turbo文件系统支持存放最大为320TB的单个文件。 通用文件系统支持存放最大为50TB的单个文件。 父主题: 规格类
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练
使用Windows系统挂载文件系统时提示不能访问此共享文件夹 现象描述 使用Windows系统挂载文件系统时,提示:“你不能访问此共享文件夹,因为你组织的安全策略阻止未经身份验证的来宾访问。这些策略可帮助你保护你的电脑免受网络上不安全设备或恶意设备的威胁。” 可能原因 由于Windows
查询文件系统详细信息 功能介绍 查询SFS Turbo文件系统详细信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口
配置hpc缓存型后端信息 功能介绍 配置hpc缓存型后端信息 接口约束 该接口仅适用于HPC缓存型文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择