检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
高性能计算 场景介绍 高性能计算通常指以计算为目的，使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力，可用于解决计算密集型、海量数据处理等业务的计算需求，如应用于工业设
产品基本概念 使用之前，请先了解以下相关概念，从而更好的使用弹性文件服务。 NFS NFS（Network File System），即网络文件系统。一种使用于分散式文件系统的协议，通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。
文件系统挂载超时 现象描述 使用mount命令挂载文件系统到云服务器，云服务器系统提示“timed out”。 可能原因 原因1：网络状态不稳定。 原因2：网络连接异常。 原因3：未购买VPC终端节点。 原因4：云服务器DNS配置错误，导致解析不到文件系统的域名，挂载失败。 原因
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
更新后端存储属性 功能介绍 更新后端存储属性 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
标签 本节指导用户为已有的文件系统添加标签，您还可以在创建文件系统时添加标签，具体请参见创建文件系统。 标签用于标识文件系统，可通过标签实现对文件系统的分类。关于标签的更多详细信息，请参考标签管理服务帮助文档。 约束限制 标签由标签“键”和标签“值”组成。 “键”最大长度为128
生命周期管理 低频存储 通用文件系统支持通过配置生命周期规则，将设定时间内通用文件系统文件转换为低频存储，从而节约成本。 低频存储具有以下优势： 配置简单，无须编写脚本或手动迁移数据 您只需设置生命周期规则，通用文件系统会自动将符合生命周期规则的数据转储至低频存储，无须复杂、高风险的数据迁移操作。
获取后端存储详细信息 功能介绍 获取后端存储详细信息 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Expl
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划 资源 资源说明 弹性云服务器ECS 云服务器和文件系统归属于同一项目下，用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境，提升用
绑定后端存储 功能介绍 为SFS Turbo 文件系统绑定后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。请求体参数file
加速原理与安装AITurbo SDK 背景 当前，大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中，故障导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训
SFS、OBS和EVS有什么区别？ 块存储、文件存储和对象存储三种类型存储的区别请参考块存储、文件存储和对象存储的区别。此处仅介绍三个服务的区别。 弹性文件服务SFS、对象存储服务OBS与云硬盘EVS之间的对比如表1所示。 表1 SFS、OBS、EVS服务对比 对比维度 弹性文件服务
适配pytorch Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量，命令如下所示： AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本，
其他类 如何从云服务器访问文件系统？ 如何确认Linux云服务器上的文件系统处于可用状态？ 弹性文件服务会占用用户的哪些资源？ SFS容量型文件系统挂载后为什么容量显示为10P？ 通用文件系统挂载后为什么会显示250TB？ 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移？
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
更新后端存储自动同步策略 功能介绍 更新后端存储自动同步策略 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API
创建目录 功能介绍 创建目录 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir
使用Windows系统挂载文件系统时提示不能访问此共享文件夹 现象描述 使用Windows系统挂载文件系统时，提示：“你不能访问此共享文件夹，因为你组织的安全策略阻止未经身份验证的来宾访问。这些策略可帮助你保护你的电脑免受网络上不安全设备或恶意设备的威胁。” 可能原因 由于Win
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
