检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
API概览 通过配合使用高性能弹性文件服务所提供的接口和OpenStack原生接口,您可以完整的使用高性能弹性文件服务的所有功能。 当本文描述内容与上述开源社区的描述不一致时,请以本文描述为准。 生命周期管理接口 表1 生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
功能概览 表1列出了高性能弹性文件服务的常用功能。 在使用高性能弹性文件服务之前,建议您先通过产品基本概念介绍了解NFS、SMB等基本概念,以便更好地理解高性能弹性文件服务提供的功能。 表1 高性能弹性文件服务常用功能 功能名称 功能描述 发布区域 NFS协议 NFS(Network
专属弹性文件服务 专属弹性文件服务简介 专属弹性文件服务(SFS Turbo)是面向企业、政府、金融等客户,提供一个基于专属计算、专属存储资源池构建的共享文件存储。租户独享专属计算和专属资源池,与公共租户资源物理隔离,满足特定性能、应用及安全合规等要求,为客户提供可靠、便捷的云上“
高性能弹性文件服务会占用用户的哪些资源? 为保证SFS Turbo文件系统能够正常使用,SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时,会在用户填写的子网下创建多个私有IP和虚拟IP。 创建SFS Turbo文件系统时,会在用户填写的安全组下
什么是高性能弹性文件服务 高性能弹性文件服务简介 高性能弹性文件服务(Scalable File Service Turbo,SFS Turbo)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS)、容器(CCE&CCI
查看文件系统 查看文件系统的基本信息,支持按文件系统名称关键字、按文件系统状态等不同过滤条件查看指定的文件系统。 查看SFS Turbo文件系统详情,依赖的服务是虚拟私有云 VPC。需要配置的角色/策略如下: IAM 用户设置了 SFS Turbo ReadOnlyAccess权限后
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型文件系统。 调用方法 请参见如何调用API。
与其他云服务的关系 高性能弹性文件服务与其他云服务的关系如图1所示。 图1 高性能弹性文件服务与其他服务的关系示意图 高性能弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器
包年/包月 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:
挂载NFS协议类型文件系统到云服务器(Linux) 当创建文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 裸金属服务器、容器(CCE&CCI)操作与云服务器一致。 将SFS Turbo文件系统挂载至CCE:请参考存储管理-CSI-存储概述或存储管理
更新目标文件夹quota 功能介绍 更新目标文件夹quota 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id
创建目标文件夹quota 功能介绍 创建目标文件夹quota。 接口约束 只支持对空目录设置目录quota。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-quota 表1
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(
日志打印 场景介绍 提供多个业务节点提供共享的日志输出目录,方便分布式应用的日志收集和管理。业务特点: 多个业务主机挂载同一个共享文件系统,并发打印日志。 大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录高性能弹性文件服务控制台
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小
产品基本概念 使用之前,请先了解以下相关概念,从而更好的使用高性能弹性文件服务。 文件系统 文件系统通过标准的NFS协议和SMB协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问