检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
share_id 是 String 文件系统id target_id 是 String 绑定关系id 表2 Query参数 参数 是否必选 参数类型 描述 delete_data_in_file_system 否 Boolean 删除后端存储时是否同时删除文件系统内的联动目录及其数据文件,默认为
后端存储属性。2024年6月30日及之前创建,且未升级的文件系统版本不支持该参数,请提工单处理。 表7 ObsDataRepositoryPolicy 参数 参数类型 描述 auto_export_policy AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。
后端存储属性。2024年6月30日及之前创建,且未升级的文件系统版本不支持该参数,请提工单处理。 表9 ObsDataRepositoryPolicy 参数 参数类型 描述 auto_export_policy AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的SFS Turbo系统策略,并结合实际需求进行选择,SFS Turbo支持的系统策略及策略间的对比,请参见:SFS Turbo系统权限。如果您需要对除SFS Turbo之外的其它服务授权,IAM支持服务的所有策略请参见权限策略。
~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅供
如果您在宽限期内仍未支付欠款,资源进入保留期,资源状态变为“已冻结”,资源将被限制访问和使用。例如SFS Turbo文件系统被冻结时,SFS Turbo文件系统IO会被限制。 保留期到期后,如果您仍未支付账户欠款,那么文件系统资源将被释放,数据无法恢复。 图1 按需计费SFS Turbo资源生命周期 华为云根据客
Turbo新文件系统,只能创建按需计费的文件系统。 卸载SFS Turbo文件系统 卸载SFS Turbo文件系统前提条件 终止进程和停止读写。 删除SFS Turbo文件系统 删除SFS Turbo文件系统前提条件 卸载已挂载的文件系统。 删除按需计费SFS Turbo文件系统 状态为
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要
时延在1~2ms左右,最大容量可达320TB。 带宽、IOPS及容量增强。 商用 文件系统类型 2019年1月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo数据备份和恢复 为SFS Turbo文件系统提供简单易用的备份服务,针对病毒入侵、人为误删除、软硬件故障等场景,可将数据恢复到任意备份点。
包年/包月转按需 支持变更为包年/包月计费模式。 按需转包年/包月 变更文件系统容量 支持变更文件系统容量。 不支持缩容。 支持扩容,扩容需要补差价。扩容后,文件系统到期时间不变。 支持变更文件系统容量。 不支持缩容。 支持扩容,根据扩容后的容量按需计费。 适用场景 适用于可预
维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
nfs文件是NFS客户端用于管理文件系统中被打开文件的删除行为。如果一个进程打开的某个文件被另一个进程删除,该进程会将此文件重命名为.nfsXXX类型文件。当这个文件的打开引用计数为0时,客户端会主动删除该文件;如果该客户端未清理该文件时就已经crash,这些文件将会残留在文件系统中。 清理.nfs文件
在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。 父主题: 基本配置
Turbo文件系统的HPC缓存型还可以按“带宽大小”来计费。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 续费 包年/包月高性能弹性文件服务在到期后会影响文件系统的正常运行。如果