SFS Turbo从SFS独立拆分通知 为强化自研高性能弹性文件服务SFS Turbo产品品牌,进一步提升品牌定位,华为云计划于2024年8月15日起,按区域逐步对高性能弹性文件服务SFS Turbo服务、订购和账单等进行调整。 变更内容 对高性能弹性文件服务SFS Turbo从弹性文件服务SFS进行拆分,独立发布。
区域和可用区 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
批量添加共享标签 功能介绍 指定共享批量添加标签。 一个共享上最多有20个标签。 一个共享上的多个标签的key不允许重复。 此接口为幂等接口:如果要添加的key在共享上已存在,则覆盖更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Expl
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题: 使用前必读
已创建一台操作系统为Linux的云服务器。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器,用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令,用于访问本地NAS存储。
Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题:
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
变更计费模式概述 SFS Turbo支持按需和包年/包月两种计费模式。在使用SFS Turbo的过程中,如果发现按需计费模式无法满足业务需求,您可以变更计费模式为包年/包月,支持变更的计费项可参见计费项。 表1 支持变更计费模式的SFS Turbo计费项 计费项 变更说明 相关文档
互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建的本地服务器client1,执行以下命令,用于访问本地NAS存储。 mount -t nfs -o vers=3,timeo=600
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
查询租户所有共享的标签 功能介绍 查询租户所有共享的标签集合。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/tags
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化
SFS Turbo时延测试 本文以SFS Turbo性能增强型,云服务器规格如下为例说明。 规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1
操作系统:Linux 区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器,用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令,用于访问本地NAS存储。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
SFS Turbo 标准型-增强版等规格停售公告 停售公告 华为云计划于2023/08/21 20:00(北京时间)将高性能弹性文件服务SFS Turbo 标准型-增强版、性能型-增强版规格正式停售。 停售区域 华北-乌兰察布一、华北-北京四、华北-北京一、华东-上海一、华东-上
SFS Turbo数据迁移实践方案概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问:
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
您即将访问非华为云网站,请注意账号财产安全