检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等
SFS Turbo时延测试 本文以SFS Turbo性能增强型,云服务器规格如下为例说明。 规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1
登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
基本概念 产品基本概念 项目和企业项目 区域和可用区
监控 弹性文件服务监控指标说明 SFS Turbo监控指标说明 创建告警规则
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 目录配额 加密传输 文件系统权限管理 通过AITurbo加速保存与加载checkpoint
通用文件系统 生命周期管理 文件系统配额管理 资源包管理 标签 通用文件系统权限管理
共享访问规则 添加共享访问规则 删除共享访问规则 查询共享访问规则 父主题: SFS容量型API说明
授权项分类 SFS授权项分类 通用文件系统授权项分类 SFS Turbo授权项分类 父主题: 权限和授权项
SFS授权项分类 查询API版本 权限 对应API接口 授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 查询API版本(OpenStack原生) GET / - × × 查询API版本(OpenStack原生) GET /{api_version}/
共享访问规则 设置文件系统ACL 获取文件系统ACL 删除文件系统ACL 父主题: 通用文件系统API说明
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: SFS Turbo API说明
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: SFS Turbo API说明
修订记录 发布日期 修订记录 2020-01-02 第四次正式发布。 本次更新说明如下: 增加“使用Windows 10系统挂载文件系统时提示无法创建映射”章节 2019-11-19 第三次正式发布。 本次更新说明如下: 增加“文件系统挂载时提示wrong fs type, bad
图解弹性文件服务
网络配置 配置多VPC 配置多账号访问 配置DNS
审计 支持审计的关键操作 查询SFS审计事件