检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo时延测试 本文以SFS Turbo性能增强型,云服务器规格如下为例说明。 规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1
、扩展和优化等运维事务。 此外,SFS Turbo还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景,例如企业OA、高性能网站和软件开发等场景。几种不同类型的文件系统请参考文件系统类型。 父主题: 概念类
加密传输 概述 加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程,性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口,并将发到其上的流量加密转发到SFS
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
、gid、目录权限、文件权限),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS
125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器ECS,容器CCE&CCI,裸金属服务器BMS提供共享访问。 如何迁移? SFS的文件系统需要
道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统
SFS容量型快速入门 操作场景 弹性文件服务提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器和裸金属服务器等提供共享访问。如果用户需要使用完全托管的共享文件存储,希望可以通过多个云上服务器共享访问一个文件系统,则可以使用弹性文件服务。 下面介绍如何调用创建共享AP
OA、日志存储 SFS Turbo性能型:高性能网站、文件共享、内容管理 SFS Turbo性能型-增强版:图片渲染、AI训练、企业办公OA 125MB/s/TiB:高性能计算、AI训练、EDA仿真、自动驾驶、渲染 250MB/s/TiB:高性能计算、AI训练、EDA仿真、自动驾驶、渲染
定位思路 需要在两个服务器的挂载参数中增加参数noac和lookupcache=none。 noac表示禁止缓存,强制进行同步写。为了提高性能,NFS客户端缓存文件属性(默认ac),然后每隔一段时间去检查文件属性后更新。在缓存有效期内,客户端不检测服务器上文件属性是否改变。默认为ac,需要设置为noac。
Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂载时,由于跨可用区/跨区域网络时延远大于同可用区,导致SFS Turbo文件系统跨可用区或者跨区域挂载访问性能大幅下降(IO时延增大数十/数百毫秒),请谨慎使用跨可用区/跨区域挂载方案。 父主题: 网络类
低时延、高性价比 高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC
以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
何发挥SFS Turbo文件系统的最大性能?。 48GB/s 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 最大IOPS 标准型:5K 标准型-增强版:15K 性能型:20K 性能型-增强版:100K 20MB/s/TiB、40MB/s/TiB:25万
修改目录配额时,配额只能高于或等于已使用配额,不允许子目录配额高于父目录配额。 建议设置配额目录深度不超过3层,否则会出现修改类操作性能下降,性能下降幅度与配额目录深度有关。 不允许跨配额目录创建硬链接、rename操作。 图1 跨配额目录 跨配额目录操作为图1 跨配额目录红线所示,会穿过黑色虚线。
表3 SFS Turbo文件系统的计费模型 资费项 计费项 计费因子 计费说明 计费公式 计费模式 存储费用 标准型、标准型-增强版、性能型、性能型-增强版、20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型
Turbo时,默认可用区为“边缘可用区”,且不支持更换为其他可用区。 跨可用区访问文件系统时性能会有一定损耗,建议您选择和云服务器相同的可用区。 类型 必选参数。 可选择标准型、标准型-增强版、性能型、性能型-增强版、20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、25
典型应用举例 高性能计算 媒体处理 企业网站/APP后台 日志打印