检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录已创建好的Linux系统云服务器。 在目的端服务器执行以下命令,验证文件同步情况。 cd /mnt/dst ls | wc -l 数据量与源端服务器中的一致时,表示数据迁移成功。 父主题: 高性能弹性文件服务数据迁移
Turbo会根据您选择的数据更新类型,以异步方式导出到OBS。 数据更新类型包含“新增数据”、“修改数据”和“删除数据”。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS
云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic Cloud Server,ECS) 挂载NFS文件系统到云服务器(Linux) 云容器引擎提供高度可扩展的、高性能的企业级Kubernetes集群,支持运行Docker容器。借助云容器引擎,您可以在云上轻松部署、管理和扩展容器化应用程序。
该自定义密钥加密的文件系统仅可以在一段时间内(默认为30s)正常使用。请谨慎操作。 卸载文件系统的具体操作请参见卸载文件系统。 父主题: 数据安全
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? SFS Turbo文件系统支持多可用区吗? 可以将SFS Turbo标准型升级为性能型吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 可以直接从云下访问高性能弹性文件服务吗? 如何删除
注意扩容时文件系统必须处于运行中状态。 暂无法直接对SFS Turbo文件系统进行缩容操作,可以通过购买小容量的新文件系统再将原文件系统数据进行手动迁移,实现“缩容”。 包年/包月的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中,单击需要扩容的SFS
在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。 父主题: 数据管理
ir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值: dir-usage 该接口仅适用于以下类型: 20MB/s/TiB 40MB/s/TiB
ir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值: dir-usage 该接口仅适用于以下类型: 20MB/s/TiB 40MB/s/TiB
AITurbo AI场景加速 加速保存与加载checkpoint 父主题: 数据管理
Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。 当您的文件系统出现故障或文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。 创建备份操作步骤 请确认目标文件系统为“可用”状态,否则无法启动备份
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
ECS。需要配置的角色/策略如下: IAM用户设置了SFS Turbo FullAccess权限后,权限集中包含了VPC FullAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC FullAccess 系统策略。 如果需要创建包年包月文件系统,需要设置BSS Administrator权限。
Turbo文件系统后,您还可以结合业务需求使用以下高阶功能。 备份:通过使用CBR备份能力,当您的文件系统出现故障或文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。 扩容:当您认为SFS Turbo文件系统的容量不足时,您可以通过执行扩容操作来增加SFS Turbo文件系统的容量。
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题: AITurbo AI场景加速
适配pytorch Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,
文件系统写入失败 现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确,需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。
如果您给用户授予SFS Turbo FullAccess的系统策略,但不希望用户拥有SFS Turbo FullAccess中定义的删除文件系统权限,您可以创建一条拒绝删除文件系统的自定义策略,然后同时将SFS Turbo FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对SFS
Cloud Server,ECS),容器(Cloud Container Engine,CCE&Cloud Container Instance,CCI),裸金属服务器(Bare Metal Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查
加速原理与安装AITurbo SDK 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训