检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
更新目标文件夹quota 功能介绍 更新目标文件夹quota 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Header中携带签名 通用文件系统的所有API接口都可以通过在header中携带签名方式来进行身份认证。 在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息,消息头域的格式为: Authorization: OBS AccessKeyID
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储
通用文件系统挂载后为什么会显示250TB? 通用文件系统容量无限制。用户在客户端上执行df -h时,为了显示需要,系统则直接返回了250TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 其他类
查询目标文件夹quota 功能介绍 查询目标文件夹quota。查询的used_capacity、used_inode数据可能有延迟。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-quota
查询API版本的详细信息 功能介绍 查询API版本的详细信息。 URI GET /{api_version}/ 参数说明 参数 是否必选 参数类型 描述 api_version 是 String API版本号。值为v1或v2。 请求消息头 该操作消息头与普通请求一样,请参见表3。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情
如何发挥SFS Turbo文件系统的最大性能? SFS Turbo文件系统提供了多个IP地址(具体数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/CIFS协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时
获取后端存储详细信息 功能介绍 获取后端存储详细信息 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型文件系统。 调用方法 请参见如何调用
查询所有共享的详细信息 功能介绍 查询所有共享的详细信息。 URI GET /v2/{project_id}/shares/detail?all_tenants={all_tenants}&project_id={project_id}&status={status}&limit=
签名计算工具 SFS提供可视化签名计算工具,帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 若调用SFS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch
使用Windows系统挂载文件系统时提示不能访问此共享文件夹 现象描述 使用Windows系统挂载文件系统时,提示:“你不能访问此共享文件夹,因为你组织的安全策略阻止未经身份验证的来宾访问。这些策略可帮助你保护你的电脑免受网络上不安全设备或恶意设备的威胁。” 可能原因 由于Windows
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调用方法 请参见如何调用API。 URI POST
查询文件系统详细信息 功能介绍 查询SFS Turbo文件系统详细信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置hpc缓存型后端信息 功能介绍 配置hpc缓存型后端信息 接口约束 该接口仅适用于HPC缓存型文件系统 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/action 表1 路径参数 参数
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择