检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建一台操作系统为Linux的云服务器。 已创建SFS容量型或SFS Turbo文件系统,并获取到文件系统的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux
Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux
后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出
String 请求ID 表5 响应Body参数 参数 参数类型 描述 dir_usage FsDirUasge object 消息描述 表6 FsDirUasge 参数 参数类型 描述 used_capacity Long 占用容量,单位:byte 状态码: 400 表7 响应Header参数
器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操作系统类型和实际情况选择合适的方式,并参考对应指导文档中的上传/下载相关章节完成数据迁移。 不同方式支
urbo/shares/{share_id}/fs/dir 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
已经获取到本地NAS存储的挂载地址。 本地NAS和云服务器已完成互信关系建立。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux
已创建一台操作系统为Linux的云服务器。 已创建SFS容量型和其他文件系统,并获取到文件系统的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux
流水账单”中,“消费时间”即按需产品的实际使用时间。 查看指定资源的账单 使用SFS资源ID查询账单 登录管理控制台,选择“存储 > 弹性文件服务 SFS”。 进入文件系统列表页面。 单击文件系统名称,进入文件系统详情页。在如下图所示位置单击鼠标左键,复制资源ID。 图1 获取资源ID 在控制台顶部菜单栏中选择“费用
录SFS的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的SFS管理事件和数据事件列表,请参见《弹性文件服务用户指南》的“支持审计的关键操作”章节。 父主题: 安全
储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。
响应Body参数 参数 参数类型 描述 task_id String 任务ID status String 任务状态, SUCCESS表示成功,DOING表示正在执行,FAIL表示失败 dir_usage FsDuInfo object 目录资源使用情况(包含子目录) begin_time String
s/{feature}/tasks sfsturbo:shares:createFsAsyncTask - √ √ 获取文件系统异步任务列表 GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks s
适用于多种应用场景,包括高性能计算、媒体处理、文件共享、内容管理和Web服务等,并且支持低频存储。 如表1,和传统的SFS容量型文件系统对比,通用文件系统具备更高性能。 表1 SFS容量型和通用文件系统 参数 SFS容量型 通用文件系统 最大带宽 2GB/s 1.25TB/s 最高IOPS
nameserver 100.125.17.29 编辑成功=>3。 编辑失败,执行lsattr /etc/resolv.conf命令,若回显如图2所示信息,表明文件处于锁定状态。 图2 锁定状态的文件 =>执行chattr -i /etc/resolv.conf命令,解锁文件。=>重新编辑=>3。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
Turbo扩容 登录管理控制台,选择“存储 > 弹性文件服务”。 在文件系统列表中,单击需要扩容的SFS Turbo文件系统所在行的“扩容”,进入“扩容”页面。 图1 包年/包月的SFS Turbo扩容 表1 参数说明 参数 说明 当前容量 当前文件系统的容量。 目标容量 容量调整后文件系统的容量。
Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux
本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划 资源 资源说明 弹性云服务器ECS 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用