检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 Long 冷数据淘汰时间。单位:小时。指定时间内线上缓存的数据如果没有被访问则会自动从缓存中删除。0表示数据不会因为时间原因自动从缓存中删除。 ck_time 是 Long 后端校验时间。单位:秒。指定时间间隔进行线上缓存文件与后端存储文件比较,存在变化则自动更新。0表示文件进行实时校验。
S桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享,更加高效。在使用专属资源池之前,您需要先创建一个专属资源池,操作指导请参考创建专属资源池。 父主题: 实施步骤
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
查询目录资源使用情况 功能介绍 查询目录资源使用情况(包括子目录的资源)。后端有5min的缓存时间,查询的数据可能有延迟。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。该接口仅适用于SFS Turbo上一代文件系统规格类型(标准型、标准型-增强版、性能型、性
Server提供共享的网站源码目录,存储,提供低延迟,高IOPS的并发共享访问能力。业务特点: 大量小文件:存放网站静态文件,包括HTML文件,Json文件,静态图片等。 读I/O密集:业务以小文件读为主,数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台,实现网站业务的高可用。
功能介绍 获取文件系统异步任务详情。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值:
功能介绍 获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值:
e。 noac表示禁止缓存,强制进行同步写。为了提高性能,NFS客户端缓存文件属性(默认ac),然后每隔一段时间去检查文件属性后更新。在缓存有效期内,客户端不检测服务器上文件属性是否改变。默认为ac,需要设置为noac。 lookupcache是和目录项缓存相关的一个参数,这个参
高性能弹性文件服务会占用用户的哪些资源? 为保证SFS Turbo文件系统能够正常使用,SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时,会在用户填写的子网下创建多个私有IP和虚拟IP。 创建SFS Turbo文件系统时,会在用户填写的安全
ABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为False;配置为True后,当主节点写内存缓存时,会同步写backup节点的内存缓存。 在实际训练代码(以pretrain_gpt.py为例)里,import一行代码就可完成所有适配。代码示例如下所示: from
B、500MB/s/TiB、1000MB/s/TiB、HPC缓存型 存储空间 文件系统所购买的存储容量和使用时长 存储费用=每GB费率*购买容量*使用时长 按需计费 包年包月 带宽费用 HPC缓存型 带宽大小 根据缓存带宽大小和使用时长计费 带宽费用=每GB费率*带宽大小*使用时长
Turbo文件系统,展示如何使用API接口。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型(停售)等类型的SFS Turbo文件系统最多支持同时挂载到3000台云服务器上; 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售)等类型的SFS
项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在相
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个文件系统。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域。 在页面右上角,选择“资源 > 我的配额”。
填写训练作业相关参数信息,以下配置项请按要求填写,其余参数配置请参考创建训练作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。
2TB的整数倍。可调整最大容量不超过1PB。 HPC缓存型(停售):起步容量=选择的新带宽大小*2,扩容步长为1TB起步,可调整最大容量不超过1PB。 说明: 特殊场景:HPC缓存型(停售)支持在容量不变的情况下,降低带宽。 当前带宽 HPC缓存型文件系统的当前带宽。 目标带宽 扩容后HPC缓存型文件系统的新带宽大小。
在VPC控制台界面,每个IP 会显示与之关联的资源类型:弹性文件服务 SFS。(仅支持21年8月31号之后创建的文件系统) 企业项目 default 该参数针对企业用户使用。创建文件系统时,可以为文件系统添加已有的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目
图1描述了按需计费SFS Turbo资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;当您的账号因按需SFS Turbo资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图1 按需计费SFS Turbo资源生命周期 欠费预警 系统会在每个