检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要
40MB/s/TiB文件系统,存储容量是500GB,并在9:30:00扩容为600GB,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,文件系统容量按照500GB计费。 第二条对应9:30:00 ~ 10:00:00,文件系统容量按照600GB计费。
以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。进入宽限期或保留期的包年/包月的SFS Turbo文件系统资源支持退订。详细的退订规则请参见云服务退订规则概览。退订操作请参见删除SFS Turbo文件系统。 如果您已开启“
nfs文件是NFS客户端用于管理文件系统中被打开文件的删除行为。如果一个进程打开的某个文件被另一个进程删除,该进程会将此文件重命名为.nfsXXX类型文件。当这个文件的打开引用计数为0时,客户端会主动删除该文件;如果该客户端未清理该文件时就已经crash,这些文件将会残留在文件系统中。 清理.nfs文件
弹性云服务器无需添加规则即可互相访问。系统会为每个云账号默认创建一个默认安全组,用户也可以创建自定义的安全组。 SFS Turbo文件系统安全组要求:为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议
生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统。 查询文件系统详细信息 该接口可以查询SFS Turbo文件系统详细信息。 删除文件系统 该接口可以删除文件系统。 获取文件系统列表 该接口可以获取文件系统列表。 扩容文件系统 该接口可以对文件系统进行扩容。 连接管理接口 表2
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: API
Turbo只读权限,拥有该权限的用户仅能查看SFS Turbo数据。 系统策略 无 表2列出了SFS Turbo常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。 表2 SFS Turbo常用操作与系统策略的关系 操作 SFS Turbo FullAccess SFS Turbo
高性能弹性文件服务支持的自定义策略授权项如下所示: 【示例】文件系统,包含SFS Turbo所有文件系统接口对应的授权项,如创建文件系统、查询文件系统列表、查询单个文件系统详情、修改文件系统、删除文件系统等接口。 【示例】扩容文件系统,包括SFS Turbo文件系统扩容缩容接口对应的授权项,如扩容共享和缩容共享等接口。
Turbo新文件系统,只能创建按需计费的文件系统。 卸载SFS Turbo文件系统 卸载SFS Turbo文件系统前提条件 终止进程和停止读写。 删除SFS Turbo文件系统 删除SFS Turbo文件系统前提条件 卸载已挂载的文件系统。 删除按需计费SFS Turbo文件系统 状态为
考续费管理。 到期 包年包月的SFS Turbo文件系统到期后不会自动转为按需计费。系统会根据保留期对资源进行处理,如保留期仍未续订,则资源将被系统自动删除。 欠费 产生欠费的可能情况: 创建按需计费的SFS Turbo文件系统,同时账号中的余额不足以抵扣产生的按需费用。 欠费后的服务状态和操作受限说明:
授权项分类 文件系统 权限 对应API接口 授权项 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建文件系统 POST /v1/{project_id}/sfs-turbo/shares sfsturbo:shares:createShare
~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅供
如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的SFS Turbo系统策略,并结合实际需求进行选择,SFS Turbo支持的系统策略及策略间的对比,请参见:SFS Turbo系统权限。如果您需要对除SFS Turbo之外的其它服务授权,IAM支持服务的所有策略请参见权限策略。
directory 文件系统路径非目录 请选择合法的文件系统路径 400 SFS.TURBO.0103 The file system is being processed 文件系统正在处理中 请等待文件系统处理完成 500 SFS.TURBO.0104 Failed to import
公共参数 SFS Turbo文件系统状态 SFS Turbo文件系统子状态
监控与审计 使用CES监控SFS Turbo文件系统 使用CTS审计SFS Turbo文件系统