检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID task_id 是 String 任务ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID task_id 是 String 任务ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
获取文件系统列表 功能介绍 获取文件系统列表 URI GET / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 x-obs-bucket-type 是 String 通过此消息头明确获取的列表内容。 取值: SFS:获取所有文件系统列表。 枚举值: SFS
no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。 all_squash:默认选项。所有访问NFS服务器的客户端的用户都映射为匿名用户。' 状态码:
/v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id feature 是
TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo
d}/hpc-cache/tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID 表2 Query参数 参数 是否必选 参数类型 描述 type 否 String 任务类型 status
/v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id feature 是
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id feature 是 String 任务类型。例,DU任务取值为dir-usage 表2 Query参数 参数 是否必选 参数类型 描述
在创建委托页面,设置“委托名称”,例如设置为“modelarts_agency”。 “委托类型”选择“云服务”,在“云服务”中选择“ModelArts”,持续时间根据用户需要选取,单击“下一步”,进入给委托授权页面。 勾选步骤1到4创建的自定义策略,给委托授权,单击“下一步”。 选择授权范围方案,选择“所有资源”。
时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储
/sys/class/bdi/$(mountpoint -d /localfolder)/read_ahead_kb' 重新执行步骤1操作,查看当前文件系统的预读参数值是否修改成功。 cat /sys/class/bdi/$(mountpoint -d 挂载点)/read_ahead_kb 例如: cat /