检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
使用SmoothQuant量化工具转换权重 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook
推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
执行微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.909）
训练性能测试 流程图 训练性能测试流程图如下图所示： 图1 训练性能测试流程 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，卡数及其它配置参考NPU卡数取值表按自己实际情况决定。 单机<可选>： # 默认8卡 benchmark-cli train
常见错误原因和解决方法 显存溢出错误 网卡名称错误 mc2融合算子报错 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
父主题： 版本和平台兼容性
PC客户端，单击”个人会议管理平台”>”进入会议管理”，在管理员栏可查看历史会议或正在召开的会议。 父主题： 会议管理
解决方法 联系ISDP+平台的运维人员将手机IP加入白名单。 父主题： 公共问题
查询订阅 接口说明 应用服务器可调用此接口查询物联网平台中指定订阅的配置信息。
操作日志查看 在运营管理平台里，选择菜单“系统管理 > 操作日志”，运营管理员可以查看操作日志。 父主题： 系统管理
PC侧坐席登录ISDP系统平台。 操作步骤 坐席登录ISDP系统平台。PC侧用户如租户管理员admin、设备管理员、坐席在浏览器访问ISDP平台地址https://isdpcloud.huawei.com/auth/#/login，输入对应账号密码登录PC侧系统。
开发完成的应用集成到ISDP+平台，用户可以通过ISDP+平台访问应用。 场景分析 项目列表展示项目的信息，使用到API资产：【查询项目信息】。
硬件平台抽象层HAL：提供交叉编译能力，以便于Agent Tiny 集成在不同硬件平台。
附带信息 phoneState表示话机释放原因，3表示平台主动挂机，2表示座席挂机。
A：是否支持GB协议可以在获取到设备型号后到设备厂商官网咨询（这个最保险），或者自己查看是否有这个页面： 海康设备：登录设备web页面 > 网络 > 高级配置 > 平台接入 > 接入方式 > 28181。
上传到SCM平台进行管理的证书。 除此之外，通过其它平台购买的证书（包括在云市场购买的证书），都需要将证书上传至SCM控制台后，SCM才能帮您管理证书，具体的操作请参见上传证书。 父主题： SSL证书管理类
输出参数 retCode 结果码。 retJSON 接收JSON格式化的ROMA Connect返回数据。 $out 接收非格式化的ROMA Connect返回数据。 须知： 对于POST请求类型，输入参数会有“$body”，通过此入参传递body结构体。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
