-
操作流程 - 弹性文件服务 SFS
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
-
绑定后端存储 - 弹性文件服务 SFS
绑定后端存储 功能介绍 为SFS Turbo 文件系统绑定后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型文件系统。
-
跨服务器迁移(rclone工具) - 弹性文件服务 SFS
/rclone-* 在本地服务器client1中执行以下命令,进行环境配置。
-
文件系统管理 - 弹性文件服务 SFS
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: SFS Turbo API说明
-
基本配置 - 弹性文件服务 SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
-
网络配置 - 弹性文件服务 SFS
网络配置 配置多VPC 配置多账号访问 配置DNS
-
上传数据至OBS并预热到SFS Turbo中 - 弹性文件服务 SFS
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
-
常见问题 - 弹性文件服务 SFS
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗?
-
计费项 - 弹性文件服务 SFS
SFS容量型文件系统、通用文件系统、SFS Turbo文件系统计费项都是存储空间费用;其中SFS Turbo文件系统的HPC缓存型除存储空间计费外,还可以按“带宽大小”计费项来计费。
-
删除ldap配置 - 弹性文件服务 SFS
删除ldap配置 功能介绍 删除ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。
-
获取文件系统列表 - 弹性文件服务 SFS
'250'表示配置联动后端成功;'251'表示删除联动后端配置成功; '321'表示扩容失败;'332'表示修改安全组失败;'337'表示添加VPC失败;'338'表示删除VPC失败;'350'表示配置联动后端失败;'351'表示删除联动后端配置失败; subnet_id String
-
SFS Turbo授权项分类 - 弹性文件服务 SFS
project_id}/sfs-turbo/shares sfsturbo:shares:createShare 创建SFS Turbo实例时,需要vpc相关权限,包括校验vpc、子网、安全组,创建vip以及port,创建安全组规则等,需要增加授权项: "vpc:*:*" 加密实例需要在项目上配置
-
修改ldap配置 - 弹性文件服务 SFS
修改ldap配置 功能介绍 修改ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。
-
创建文件系统 - 弹性文件服务 SFS
", "hpc_bw" : "125M" } } } HPC缓存型: | 创建一个名称为“sfs-turbo-hpccache-test”的SFS Turbo HPC缓存型文件系统,共享协议为NFS,容量为4096GB,hpc缓存型带宽为2GB/s, 文件系统所在的可用区编码是
-
配置SFS Turbo数据自动导出到OBS桶 - 弹性文件服务 SFS
父主题: 基本配置
-
查询文件系统详细信息 - 弹性文件服务 SFS
hpc_bw String 文件系统的带宽规格。
-
配置VPC终端节点 - 弹性文件服务 SFS
图2 购买终端节点 根据界面提示配置参数。 表1 终端节点配置参数 参数 说明 区域 终端节点所在区域,需要与规划的通用文件系统所在区域保持一致。 目前仅华北-北京四、华东-上海一、华北-乌兰察布一和华南-广州区域支持通用文件系统。
-
查询Ldap的配置 - 弹性文件服务 SFS
查询Ldap的配置 功能介绍 查询Ldap的配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。
-
方案概述 - 弹性文件服务 SFS
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
-
创建并绑定ldap配置 - 弹性文件服务 SFS
创建并绑定ldap配置 功能介绍 创建并绑定ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。