检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ascendfactory-cli方式启动(推荐) 相对于之前demo.sh方式启动(历史版本)的启动方式,本章节新增了通过benchmark工具启动训练的方式。此方式训练完成后json日志或打屏日志直接打印性能结果,免于计算,方便用户验证发布模型的质量。并且新的训练方式将统一管
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可对tokenizer文件进行编辑。 LLama2模型 在当前的软件版本中,由于transformers的版本过高(transformers==4
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 图1 网卡名称错误 export GLOO_SOCKET_IFNAME=enp67s0f5
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 图1 网卡名称错误 export GLOO_SOCKET_IFNAME=enp67s0f5
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 export GLOO_SOCKET_IFNAME=enp67s0f5
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 图1 网卡名称错误 export GLOO_SOCKET_IFNAME=enp67s0f5
使用kv-cache-int8量化 kv-cache-int8是实验特性,在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化,支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM(v0.6.0)部署推理服务时,不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明,如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出,为服
] } 状态码 状态码4xx:由于明显的客户端错误(例如,格式错误的请求语法、参数错误等),华为云会返回4xx错误码,请及时检查请求消息的正确性,重新发起请求。 状态码5xx:由于华为云系统原因,导致无法完成明显有效请求的处理,可及时联系华为云客服处理。 HTTP状态码 错误码 错误描述
调用发送短信API和发送分批短信API时,请求参数“to”用于填写短信接收方的号码,标准号码格式为:+{国家码}{地区码}{终端号码}。 发送国内短信,如果“+{国家码}”不存在,则默认为+86,如果接收方号码为手机号码,则{地区码}可选。如:+86131****5678。 如
Weblogic单机双节点集群部署 本章节介绍了Weblogic如何配置集群,也介绍了在集群部署方式下,ABI5.3.1应用配置集群。部署weblogic集群是为了使用weblogic的proxy代理,并不使用weblogic集群的任何特性 集群(Cluster)是由两台或多台节
部署环境配置 本章节主要讲述在linux环境下如何安装及配置金蝶中间件。 安装应用服务器 确保所登录用户对AAS-V9.0.zip有可读写权限(在终端中用命令 ls -l AAS-V9.0.zip查看),可通过以下命令将AAS-V9.0.zip解压缩到安装目录: 可参考以下命令(具体以实际为准):
管理桥接器模板 当需要连接其它数据,以获得组件最佳的展示效果时,可通过自定义数据桥接器实现。自定义桥接器时,需要先下载桥接器模板,根据组件的数据结构,对桥接数据进行对接和改造。 查看桥接器模板 在AstroZero服务控制台,单击“进入首页”,进入应用开发页面。 在页面左上方单击,选择“环境管理
在SLB中管理灰度状态 管理灰度发布的整个执行阶段。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 启动灰度 如果初始配置发布时,没有选择启用灰度,灰度服务当前状态为待启动,可以在灰度管理中启用灰度。 进入AppStage运维中心。
在SLB中创建Action任务 在SLB管理台创建action任务,在部署服务的变更管理中关联并执行任务。 创建节点上下线任务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理 > Action任务”。
在SLB中创建资源组 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 在SLB中创建资源组 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“资源管理 > 资源组”。
查看及导出微服务接口契约 微服务场景中的契约是指服务契约,它是基于OpenAPI规范的微服务接口约束规范,是服务端和消费端对于接口的定义。本文介绍如何查看以及导出微服务的接口契约。 查看接口契约 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现”。
查看微服务的依赖关系 本文介绍通过管理台查看及删除微服务的依赖关系。 查看微服务依赖的服务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 一方服务”。 选择“微服务列表”页签,单击微服务列表中的微服务名。
在WiseDBA中查看数据库状态 支持查询TaurusDB、GaussDB及RDS(for MySQL)类型数据库的Innodb引擎状态、全局变量、全局状态。 查看状态 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实时诊断”。