检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势
大容量、低成本 大容量、低成本 低时延、高性价比 低时延、高性价比 高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的
capacity_standard 容量型存储用量 容量型存储数据所占用的存储空间容量。 单位:字节/秒 ≥ 0 bytes/s 用户 文件共享 30分钟 capacity_infrequent_access 低频型存储用量 低频型存储数据所占用的存储空间容量。 单位:字节/秒 ≥ 0 bytes/s
包A,又于8月20日购买了容量为1TB的资源包B,则8月20日-9月15日间,占用资源包A的容量为1TB,占用资源包B的容量为0.2TB。9月15日套餐包A过期,如不续订,9月15日-9月20日间,占用资源包B的容量为1TB。 父主题: 计费FAQ
包A,又于8月20日购买了容量为1TB的资源包B,则8月20日-9月15日间,占用资源包A的容量为1TB,占用资源包B的容量为0.2TB。9月15日套餐包A过期,如不续订,9月15日-9月20日间,占用资源包B的容量为1TB。 父主题: 计费类
允许访问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: 其他类
计费因子 计费说明 计费公式 计费模式 存储费用 容量型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 按需计费 包年包月 低频型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明:
务器进行挂载。 Windows系统建议使用CIFS协议类型的文件系统。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。
管理SFS Turbo文件系统与OBS桶的存储联动 概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turb
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 本指南以某公司存储文件为例,介绍如何实现文件的共享存储。 Step1 登录管理控制台 登录华为云控制台。在控制台页面中选择“存储 > 弹性文件服务”。 图1 登录SFS控制台 选择与ECS相同的区域,文件系统只有
不会导入其它附加元数据(如uid、gid、mode)。 数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,
更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
server error" } 状态码 状态码 描述 200 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题: 存储联动管理
HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。 创建ModelArts资源池:创建1个专属资源池。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
server error" } 状态码 状态码 描述 202 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题: 存储联动管理
又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速