检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题: 使用前必读
如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: 基本概念
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量
高性能计算 场景介绍 高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设
数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。
项目和企业项目 项目 项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以
I算力规模呈现出指数级的爆发增长,对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容
登录高性能弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
操作步骤 在管理控制台左上角单击图标,选择区域和项目。 在“服务列表”中,选择“网络 > VPC终端节点”,进入终端节点页面。 在左侧导航栏,选择“VPC终端节点 > 终端节点”。 在终端节点界面,单击“购买终端节点”,创建连接DNS服务的终端节点。 选择“云服务 > com.myhuaweicloud
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
强版类型 存储空间 HPC缓存型 存储空间 带宽大小 计费周期 费用结算的最小时长为1小时,与具体的购买时刻无关。例如在结算18:00~19:00的文件系统存储费用时,无论文件系统是在18:00~19:00之间哪个时刻购买的,都以存储时长为1小时结算。 计费公式 存储空间费用=每GB费率*存储容量*使用时长
员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网I
前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。 选择“服务列表 > 计算 > 弹性云服务器”。 单击左侧导航树中的“弹性云服务器”,在服务器界面选择目标服务器。进入目标服务器详情。 选择“安全组”页签,选择目标
存储池可用带宽和IOPS,与存储容量成正比例关系。在购买专属弹性文件服务,规划DSS专属存储资源时,需要为专属弹性文件服务预留对应的容量和性能,避免出现容量或性能不足,影响专属文件存储服务。 在“性能规格”中,带宽值和IOPS值为“{}”中的最小值。
考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其
PU卡同时从存储中加载checkpoint致使存储带宽成为拥塞瓶颈,在具有相同checkpoint的冗余组内,采用部分代表节点先从远端存储加载checkpoint并将checkpoint广播到剩余其他节点的恢复机制,这种策略显著降低大规模训练集群故障恢复过程对远端存储带宽的需求,
/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB 存储空间 HPC缓存型(停售) 存储空间 吞吐带宽 计费模式 高性能弹性文件服务计费模式包括按需计费和包年包月。购买方式具体操作请参见如何购买高性能弹性文件服务。 详细的服务资费费率标准请参见产品价格详情中“SFS
FS Turbo文件系统用于存放网站文件。 登录作为计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下网站文件上传至SFS