检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 export GLOO_SOCKET_IFNAME=enp67s0f5
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程
显存溢出错误 在训练过程中,常见显存溢出报错,示例如下: RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
工具介绍及准备工作 本章节主要介绍针对LLaMAFactory开发的测试工具benchmark,支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置,用户查看默认yaml文件即可知道最优性能的配置
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可对tokenizer文件进行编辑。 LLama2模型 在当前的软件版本中,由于transformers的版本过高(transformers=
工具介绍及准备工作 本章节主要介绍针对LLaMAFactory开发的测试工具benchmark,支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置,用户查看默认yaml文件即可知道最优性能的配置
将数据预热到SFS Turbo 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 在ECS服务器挂载SFS Turbo已经将SFS Turbo
sbYJYoxfRsuf6OZhGL-XWmjnvdaviGauhSdw16ImWOFEvbACSHMXGT1U0ijS5z6ezX@sZePruzFnvcIMgShF8xNPN6zVokQp-uwbyS3W6NpZpDuwsjuiZ7DZTNpKoqCkGHwvPJrHBOrWFR_u6
附录 名词解释 基本概念、云服务简介、专有名词解释: 弹性云服务器ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 弹性公网IP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器
附录 名词解释 基本概念、云服务简介、专有名词解释: 弹性云服务器ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 弹性公网EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器
附录 名词解释 基本概念、云服务简介、专有名词解释 弹性云服务器ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 弹性公网EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器
附录 名词解释 基本概念、云服务简介、专有名词解释 弹性云服务器ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 弹性公网EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器
如何连接SAP HANA数据库 华为云提供多种连接,将用户的本地系统连接到运行在华为云平台上的SAP系统,您可以根据实际需要选择不同的连接方式。 直连Internet 您可以在云服务器上配置弹性公网IP,以便通过弹性公网IP服务将云服务器与公用网络相连。 云专线 云专线(Direct
管理子网 查看子网信息 您可以在“边缘网络 > 虚拟私有云 ”页面单击虚拟私有云的名称进入详情页面查看子网信息。 系统默认一个华为云账号最多创建150个子网。如果您需要创建更多个子网,请申请扩大配额。 表1 子网信息 参数 说明 名称/ID 名称:子网的名称,为创建虚拟私有云后系统默认生成
负载均衡器配置:独享型elb自动创建配置 负载均衡器名称 自动创建的独享型负载均衡器名称。 参数名 取值范围 默认值 是否允许修改 作用范围 name 1-255个字符 无 允许 CCE Standard/CCE Turbo 支持网络类型 自动创建的独享型负载均衡器属性:inner
配置反向解析 操作场景 反向解析主要应用于自建邮箱服务器,可以提高邮箱服务器IP地址和域名的信誉度。多数垃圾邮件发送者使用动态分配或者没有注册域名的IP地址来发送垃圾邮件,以逃避追踪。设置了邮箱服务器IP地址到域名的反向解析后,收件方可以通过邮件的IP地址反向解析出域名,就可以降低邮箱服务器发送的邮件被当做垃圾邮件的几率
公网和私网负载均衡器 负载均衡按照支持的网络类型的不同分为公网负载均衡器和私网负载均衡器。 公网负载均衡器 通过给负载均衡器绑定弹性公网IP,使其支持转发公网流量请求,称为公网负载均衡器。通过公网IP对外提供服务,将来自公网的客户端请求按照指定的负载均衡策略分发到后端服务器进行处理
购买公网NAT网关 操作场景 如果您要通过公网NAT网关访问公网或为公网提供服务,则需要购买公网NAT网关。 约束与限制 同一个公网NAT网关下的多条规则可以复用同一个弹性公网IP,不同网关下的规则必须使用不同的弹性公网IP。 一个VPC支持关联多个公网NAT网关。 SNAT、DNAT
如何解决VPN连接无法建立连接问题? 检查云上VPN连接中的IKE策略和IPsec策略中的协商模式和加密算法是否与远端配置一致。 如果第一阶段IKE策略已经建立,第二阶段的IPsec策略未开启,常见情况为IPsec策略与数据中心远端的配置不一致。 如果客户本地侧使用的是CISCO的物理设备