检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击管理控制台左上角的,选择区域和项目。 选择“网络 > VPC终端节点 > 终端节点”。 在“终端节点”页面,单击“购买终端节点”。 进入“购买终端节点”页面。 图2 购买终端节点 根据界面提示配置参数。 表1 终端节点配置参数 参数 说明 区域 终端节点所在区域,需要与规划的通用文件系统所在区域保持一致。
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询弹性文件服务的终端节点。 父主题: 使用前必读
如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: 基本概念
创建文件系统 VPC终端节点能够将VPC私密地连接到终端节点服务,使VPC中的云资源无需弹性公网IP就能够访问终端节点服务,提高了访问效率,为您提供更加灵活、安全的组网方式。 通用文件系统通过VPC终端节点,建立与云服务器的通信,以实现云服务器能够访问文件系统。 VPC终端节点(VPC Endpoint)
VPC终端节点”,进入终端节点页面。 在左侧导航栏,选择“VPC终端节点 > 终端节点”。 在终端节点界面,单击“购买终端节点”,创建连接DNS服务的终端节点。 选择“云服务 > com.myhuaweicloud.region.dns”。 region为购买的终端节点所在的区域。
egion)挂载,网络互通方式具体参考云连接CC“跨区域VPC互通”。 通用文件系统在挂载云服务器前,需要先参考配置VPC终端节点完成创建VPC终端节点。 约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作:
API文档 API概览 快速入门 创建共享 添加共享访问规则 扩容共享 常见问题 了解更多常见问题、案例和解决方案 热门案例 是否支持跨VPC访问文件系统? VPC的安全组是否影响弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办? 如何购买弹性文件服务?
环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为False;配置为True后,当主节点写内存缓存时,会同步写backup节点的内存缓存。 在实际训练代码(以pretrain_gpt.py为例)里,import一行代码就可完成所有适配。代码示例如下所示:
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建
登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/CIFS协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。
原因1和原因2:网络状态不稳定;网络连接异常。 修复网络,网络修复完成后重新执行挂载。 成功=>处理结束。 失败=>原因3。 原因3:未购买VPC终端节点。 购买VPC终端节点操作请参见配置VPC终端节点。 成功=>处理结束。 失败=>原因4。 原因4:云服务器DNS配置错误,导致解析不到文件系统的域名,挂载失败。 确认租户DNS的配置,执行cat
已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 您需要明确需要列举的文件系统所在的区域信息,并根据区域确定调用API的Endpoint,详细信息请参见地区和终端节点。 获取cn-north-4区域的文件系统列表 示例中使用通用的Apache Http Client。 1 2 3 4 5 6
checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,主节点持久化过程中,内存中写入了相同检查点的备节点会持续监听主节点的保存结果。保存失败之后,备节点会接管主节点的持久化操作,代替主节点将检查点持久化下去,保证可靠性。 图1 保存checkpoint流程 加速加载checkpoint
单击“确定”,完成添加。添加成功的VPC会出现在列表中。 在“终端节点”页面,单击“购买终端节点”。 进入“购买终端节点”页面。 图4 购买终端节点 根据界面提示配置参数。 表4 终端节点配置参数 参数 说明 区域 终端节点所在区域,需要与规划的通用文件系统所在区域保持一致。 目前仅华
登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放网站文件。 登录作为计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下网站文件上传至SFS
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。 当跨VPC访问文件系统时,时延、带宽、IOPS会有较大的损耗,建议您优先采用同VPC访问。 更多关于VPC对等连接信息请参见VPC对等连接。
Linux系统云服务器、SFS容量型文件系统和其他文件系统需在同一VPC下。如果目标端是通用文件系统,需配置VPC终端节点,具体操作,请参见配置VPC终端节点。 支持实现增量迁移,即只迁移发生变化的数据。 前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型