正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
创建文件系统异步任务 功能介绍 创建文件系统异步任务,仅支持异步查询目录资源使用情况,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。如果存在10个正在执行的任务,则不允许创建新任务。
获取文件系统异步任务详情 功能介绍 获取文件系统异步任务详情。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
选择与文件系统所属VPC相同的云服务器进行挂载。 云服务器上已配置了用于内网解析文件系统域名的DNS服务器的IP地址。 操作步骤 已经成功在北京一可用区2创建一台CentOS系统的云服务器如ecs-whm,如图1所示。 图1 成功创建云服务器 以root用户登录弹性云服务器。安装NFS客户端。
将数据从SFS容量型迁移至SFS Turbo后,容量为什么变大了? 由于SFS Turbo中包含元数据,且这些元数据大约占用8%-10%的空间,所以将数据从SFS容量型文件系统迁移至SFS Turbo文件系统后,容量会变大。这些元数据主要为文件系统的管理数据,比如文件的大小,文件系统拥有者,文件的修改时间等等。
可以将SFS容量型文件系统升级为SFS Turbo文件系统吗? 不可以。如果希望使用SFS Turbo文件系统,不再需要使用SFS容量型文件系统,可以先将SFS容量型文件系统删除/退订后,重新购买SFS Turbo文件系统。或者同时购买SFS Turbo文件系统后,完成两种文件系
均可。如果选择“可视化视图”请跳转至5,如果选择“JOSN视图”请跳转至6。 在“策略内容”下配置策略。 选择“允许”。 选择云服务,勾选“弹性文件服务(SFSTurbo)”。 选择“操作”,勾选只读操作“sfsturbo:shares:showShareNic”、“sfstur
获取文件系统异步任务列表 功能介绍 获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”,完成绑定。 父主题: 基本配置
可以将SFS Turbo标准型升级为SFS Turbo标准型-增强版吗? 不可以。SFS Turbo不同规格的文件系统之间暂不支持互相转换。 如果希望使用另一种规格的SFS Turbo文件系统,不再需要使用之前规格的文件系统,可以先将原文件系统删除/退订后,重新购买新规格的SFS
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
为每个用户创建有读写权限的子目录 前提条件 已创建文件系统,并能通过root账号成功挂载到云服务器上。操作步骤请参考创建文件系统本地目录。 已获取到文件系统的挂载地址。 操作步骤 以root账号登录弹性云服务器。 使用以下命令在root账号下使用以下命令添加普通用户账号,下面以添加普通用户Tom为例。