检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化
非分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909）
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时，由于transformer 4.3
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.911）
训练性能测试 流程图 训练性能测试流程图如下图所示： 图1 训练性能测试流程 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，卡数及其它配置参考NPU卡数取值表按自己实际情况决定。 单机<可选>： # 默认8卡 benchmark-cli train
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 LLama2模型 在当前的软件版本中，由于transformers的版本过高（transformers==4
训练tokenizer文件说明 在训练开始前，有些模型需要对模型的tokenizer文件，或者模型配置配置文件进行修改，具体的修改如下： Qwen-VL 修改文件modeling_qwen.py： # 将36 37 两行注释部分 36 SUPPORT_BF16 = SUPPORT_CUDA
error. 服务内部处理错误。 处理建议：物联网平台内部错误，请联系物联网平台维护人员处理。 500 100023 The data in dataBase is abnomal. 数据库异常。 处理建议：物联网平台内部错误，请联系物联网平台维护人员处理。 500 50252 Internal
云管理方案可以定制Portal页面吗？ 支持用户定制Portal页面。云管理平台提供多种Portal页面模板样式，用户可基于模板自定义Portal页面。
配置AP业务 配置接口 AP上行连接交换机的接口，在华为乾坤云平台上无需配置，采用默认配置即可。 配置员工SSID（PSK认证） 登录华为乾坤控制台。 在控制台首页地图上双击“test_fw”站点，单击站点首页右上角“站点配置”。 在站点配置页面左侧导航中选择“无线配置 > SS
站点和设备数据规划 各个站点的设备，需要先添加到云平台，管理员才能对设备进行配置和管理。 表1 站点规划 站点名称 设备类型 Hub1 AR Hub2 AR Site1 AR、LSW、云AP 表2 设备信息 所属站点 设备名称 设备型号 设备角色 设备ESN数据 备注 Hub1 Hub1_1
第三方应用若需要了解设备可上报哪些服务属性数据，以及设备支持下发哪些命令，可调用此接口在物联网平台查询设备的Profile文件中定义的设备服务能力信息。 接口功能 支持第三方应用在物联网平台查询设备的服务属性、设备命令等服务能力信息。 接口描述 1 QueryDeviceCapabilitiesOutDTO
删除指定版本包 典型场景 对于不需要继续使用和保留的设备版本包，第三方应用可调用此接口在物联网平台上删除指定的版本包。 接口功能 支持第三方应用在物联网平台根据版本包ID删除指定的版本包文件，在调用该接口前需要通过“查询版本包列表”接口查询获得要删除 接口描述 void dele
批量删除订阅 典型场景 第三方应用若不再需要接收物联网平台推送的订阅通知消息，或者不再需要接收某类订阅通知消息，可调用此接口批量删除订阅配置，取消订阅。 接口功能 支持第三方应用在物联网平台批量删除订阅配置，可删除全部订阅，或删除指定订阅类型的所有订阅，或删除指定回调URL地址的所有订阅。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
