检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题: 使用前必读
VPC终端节点”,进入终端节点页面。 在左侧导航栏,选择“VPC终端节点 > 终端节点”。 在终端节点界面,单击“购买终端节点”,创建连接DNS服务的终端节点。 选择“云服务 > com.myhuaweicloud.region.dns”。 region为购买的终端节点所在的区域。
环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为False;配置为True后,当主节点写内存缓存时,会同步写backup节点的内存缓存。 在实际训练代码(以pretrain_gpt.py为例)里,import一行代码就可完成所有适配。代码示例如下所示:
FS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/SMB协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。
如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: 基本概念
checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,主节点持久化过程中,内存中写入了相同检查点的备节点会持续监听主节点的保存结果。保存失败之后,备节点会接管主节点的持久化操作,代替主节点将检查点持久化下去,保证可靠性。 图1 保存checkpoint流程 加速加载checkpoint
S Turbo文件系统用于存放网站文件。 登录作为计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下网站文件上传至SFS
存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。
放的端口,可以前往“网络控制台 > 访问控制 > 安全组”找到目标安全组进行修改即可。 推荐SFS Turbo实例使用单独的安全组,与业务节点隔离。 图1 添加入方向规则 单击“确定”,完成安全组配置。重新访问文件系统进行验证。
"48G"表示HPC缓存型的带宽规格。 instanceId String 文件系统规格的节点id,为预留字段,不具备实际含义。 instanceType String 文件系统规格的节点类型,为预留字段,不具备实际含义。 statusDetail String 文件系统的请求ID,为预留字段,不具备实际含义。
修改开放的端口,可以前往“网络控制台 > 访问控制 > 安全组”找到目标安全组进行修改即可。推荐SFS Turbo使用单独的安全组,与业务节点隔离。 配置示例 入方向规则 方向 协议 端口范围 源地址 说明 入方向 TCP&UDP 111 IP地址 0.0.0.0/0(可配置,此处表示放通所有IP地址)
HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。 resource-path
"48G"表示HPC缓存型的带宽规格。 instanceId String 文件系统规格的节点id,为预留字段,不具备实际含义。 instanceType String 文件系统规格的节点类型,为预留字段,不具备实际含义。 statusDetail String 文件系统的请求ID,为预留字段,不具备实际含义。
String 用户区别名 filter_condition String 过滤条件。保留字段,暂不支持 backup_url String ldap备节点的url schema String ldap的schema,不填写则默认为RFC2307 search_timeout Integer
d。 filter_condition 否 String 过滤条件。保留字段,暂不支持 backup_url 否 String ldap备节点的url,固定格式为 ldap://{ip_address}:{port_number} 或 ldaps://{ip_address}:{
vpc的id filter_condition 否 String 过滤条件。保留字段,暂不支持 backup_url 否 String ldap备节点的url,固定格式为 ldap://{ip_address}:{port_number} 或 ldaps://{ip_address}:{