检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
、EDA仿真、企业NAS应用等。 SFS Turbo为用户提供更为丰富的文件系统规格选择,助力更多不同场景下的业务成功上云。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB
区域和可用区 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
描述 project_id 是 String 项目ID share_id 是 String 文件系统id rule_id 是 String 权限规则id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token
share_proto 是 String 文件系统共享协议,有效值为NFS。NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 share_type 是 String 文件系统类型,有效值为
授权对象的读写权限 rw:默认选项,以读写的方式共享 ro:以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限,且无法修改该所
如果已挂载文件系统,请先参考卸载文件系统完成卸载操作。 参考挂载NFS文件系统到云服务器完成挂载前准备。 挂载文件系统时,使用如下命令进行挂载。 mount -t nfs -o vers=3,timeo=600,noac,lookupcache=none,noresvport,nolock,tcp 共享路径
生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统。 查询文件系统详细信息 该接口可以查询SFS Turbo文件系统详细信息。 删除文件系统 该接口可以删除文件系统。 获取文件系统列表 该接口可以获取文件系统列表。 扩容文件系统 该接口可以对文件系统进行扩容。 连接管理接口
口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS
File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。 SMB SMB(Server Message Block),是一种网络文件系统访问协议。通过SMB协议,可
project_id 是 String 项目ID share_id 是 String 文件系统id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型
描述 project_id 是 String 项目ID share_id 是 String 文件系统id rule_id 是 String 权限规则id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token
简化用户的网络部署。 云服务器无法访问不在同一VPC下的文件系统,使用高性能弹性文件服务时需将文件系统和云服务器归属于同一VPC下。 虚拟私有云(Virtual Private Cloud,VPC) 创建文件系统 IAM是支撑企业级自助的云端资源管理系统,具有用户身份管理和访问控
的识别要求文件系统内存大、高带宽。 图片渲染:图像处理、三维渲染,频繁处理小文件,要求文件系统数据读写性能强、容量大、高带宽。 异构计算:这种以不同类型的指令集和体系架构的计算单元为组成的系统计算方式要求文件系统高带宽、低时延。 高性能弹性文件服务是基于文件系统的共享存储服务,具
拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
Turbo权限,用来控制文件系统的读写权限。 全部 备份文件系统 备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。 全部 加密文件系统 当您由于业务需求从而需要
最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 标签限制 单个文件系统最多允许添加10个标签。 当一个文件系统添加了多个标签,标签键不允许重复。
删除文件系统 文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。 在文
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理