检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表4 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS
创建文件系统 要了解这些参数的详细说明,请参见“创建文件系统”中“创建SFS Turbo文件系统”的表格“参数说明”的相关参数解释。 可以修改文件系统的类型,但只能进行同类型文件系统之间的修改。例如:标准型文件系统可以修改为性能型文件系统,但不能修改为标准型增强版文件系统。 创建的SFS
图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS
红线与绿线:mv或者link操作,绿色表示允许操作,红色表示不允许操作。 虚线矩形:配额目录区域。 管理目录配额 配额具体操作请参考《弹性文件服务API参考》->SFS Turbo API说明->目录管理。 添加与修改配额 只能对空目录设置配额。 只能对配额目录修改配额,配额需高于原配额。 必须要提供的3个参数:
1,ro,root_squash)这条规则。 添加授权地址操作步骤 本章节介绍如何通过控制台完成添加授权地址进行权限管理。 如果您想通过API调用完成文件系统权限管理,请参考《弹性文件服务API参考》权限管理章节。 登录弹性文件服务管理控制台。 在SFS Turbo文件系统列表中,找到待添加授权地址的SFS
Turbo提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。SFS Turbo提供标准的文件访问协议NFS(仅支持NFSv3),用户可以将现有应用和工具与SFS Turbo无缝集成。 SFS Turbo提供简单易用的操作界面
Service,SFS)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。 弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无
0支持SFS Turbo SFS Turbo文件系统更适合海量小文件业务。 典型应用场景: SFS Turbo标准型:代码存储、日志存储、Web服务、虚拟桌面 SFS Turbo标准型-增强版:代码存储、文件共享、企业办公OA、日志存储 SFS Turbo性能型:高性能网站、文件共享、内容管理
将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载文件系统,具体操作请参见自动挂载文件系统。 表1 参数说明 参数 说明 vers 文件系统版本,目前只支持NFSv3。取值:3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。
SFS Turbo时延测试 本文以SFS Turbo性能增强型,云服务器规格如下为例说明。 规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1
针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,SFS支持的API授权项请参见策略及授权项说明。 如表1所示,包括了SFS的所有系统权限。 表1 SFS容量型系统权限 策略名称 描述 策略类别 依赖关系
SDK概述 本文介绍了SFS Turbo提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表,您可以在
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表3 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS
根据可能原因进行故障排查。 解决方法 原因1:文件系统状态异常。 登录管理控制台,进入“弹性文件服务”页面,查看该文件系统状态,如果为“可用”状态,说明文件系统可正常访问。 是 => 原因2。 否 => 请参考文件系统出现异常状态,使文件系统状态恢复“可用”后,重新访问文件系统。 原因2:
创建SFS自定义策略 如果系统预置的SFS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考权限及授权项说明。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节。如果未设置,默认为750(目录权限)和640(文件权限)。 元数据导入(快速导入)和数据导入时,支持指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源
timeo=600,noresvport,nolock,tcp 挂载地址 /local_path 字段说明 挂载信息的字段说明如表 1 字段说明所示。 表1 字段说明 字段 说明 挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到云服务器(Linux)中mount命令中的挂载地址。