检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
文件系统所购买的存储容量和使用时长 存储费用=每GB费率*购买容量*使用时长 按需计费 包年包月 带宽费用 HPC缓存型 带宽大小 根据缓存带宽大小和使用时长计费 带宽费用=每GB费率*带宽大小*使用时长 按需计费
8:00~19:00之间哪个时刻购买的,都以存储时长为1小时结算。 计费公式 存储空间费用=每GB费率*存储容量*使用时长 带宽费用=每GB费率*带宽大小*使用时长 “每GB费率”请以弹性文件服务价格详情中的“按需计费 > 价格”为准。 计费示例 假设您购买500GB的SFS Turbo
3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能;
HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响
监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控高性能弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS Turbo支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。 父主题: 安全
方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。
00MB/s/TiB类型时直接展示该字段。带宽大小=容量*带宽密度(类型值),最小带宽为150MB/s,小于该值的带宽取值为150MB/s,最大带宽请参见SFS Turbo文件系统类型。 当选择HPC缓存型时,支持单击下拉框选项选择带宽大小。 当选择标准型、标准型-增强版、性能型、性能型-增强版类型时不展示该字段。
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
MB/s/TiB类型时直接展示该字段。带宽大小=容量*带宽密度(类型值),最小带宽为150MB/s,小于该值的带宽取值为150MB/s,最大带宽请参见SFS Turbo文件系统类型。 当选择HPC缓存型(停售)时,支持单击下拉框选项选择带宽大小。 当选择标准型、标准型-增强版(停
起步容量(GB)=带宽大小*2 最大容量1PB 优势 大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读
起步容量(GB)=带宽大小*2 最大容量1PB 优势 大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读
/s/TiB、1000MB/s/TiB HPC缓存型 支持访问方式 VPN/专线/云连接 VPN/专线/云连接 VPN/专线/云连接 最大带宽 标准型:150MB/s 标准型-增强版:1GB/s 性能型:350MB/s 性能型-增强版:2GB/s 说明: 读写速率受挂载客户端的数
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文
DSS:高IO资源池 带宽=min{1GB/s,DSS存储池可用带宽} IOPS=min{15k, DSS存储池可用IOPS} SFS Turbo性能型专属 DCC:C7/C7n/C6/C6s/C7/C6/C6s/C7t/C7n/C6nl实例 DSS:超高IO资源池 带宽=min{2GB/s,DSS存储池可用带宽}
Turbo标准型-增强版: 最大带宽可达1GB/s,最高IOPS为15K。 时延在2~5ms左右,最大容量可达320TB。 带宽、IOPS及容量增强。 SFS Turbo性能型-增强版 最大带宽可达2GB/s,最高IOPS为100K。 时延在1~2ms左右,最大容量可达320TB。 带宽、IOPS及容量增强。
HPC缓存型(停售):起步容量=选择的新带宽大小*2,扩容步长为1TB起步,可调整最大容量不超过1PB。 说明: 特殊场景:HPC缓存型(停售)支持在容量不变的情况下,降低带宽。 当前带宽 HPC缓存型文件系统的当前带宽。 目标带宽 扩容后HPC缓存型文件系统的新带宽大小。 根据业务需要,输入目标容量,单击“立即购买”。
及进行油藏和汽藏的识别要求文件系统内存大、高带宽。 图片渲染:图像处理、三维渲染,频繁处理小文件,要求文件系统数据读写性能强、容量大、高带宽。 异构计算:这种以不同类型的指令集和体系架构的计算单元为组成的系统计算方式要求文件系统高带宽、低时延。 高性能弹性文件服务是基于文件系统的