检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
量化 W4A16量化 W8A8量化 W8A16量化 kv-cache-int8量化 父主题： 推理关键特性使用
附录：微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.908）
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.910）
安装Jenkins插件并配置Jenkins工具 在使用GitLab对接Jenkins自动构建并部署组件到ServiceStage前，需要安装Jenkins插件和并配置Jenkins全局参数。 安装Jenkins插件：用于对接git以及支持在构建的时候使用脚本。 Jenkins全局
自定义镜像训练作业配置节点间SSH免密互信 当用户使用基于MPI和Horovod框架的自定义镜像进行分布式训练时，需配置训练作业节点间SSH免密互信，否则训练会失败。 配置节点间SSH免密互信涉及代码适配和训练作业参数配置，本文提供了一个操作示例。 准备一个预装OpenSSH的自
创建声音分类项目 ModelArts自动学习，包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台，在左侧导航栏单击“开发空间>自动学习”，进入新版自动学习页面。
标注文本分类数据 项目创建完成后，将会自动跳转至新版自动学习页面，并开始运行，当数据标注节点的状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 双击“数据标注”节点，单击实例详情按钮，打开数据标注页面。
将监听配置同步到SLB节点 监听配置完成后，配置数据只是保存到数据库中，如需将监听服务应用到SLB，还需要执行同步操作。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 将监听配置同步到SLB 进入AppStage运维中心。 在顶部导航栏选择服务。
配置SLB节点信息 为SLB实例配置节点信息。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 新增节点 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。
调用短信API，出现SSL连接异常类报错，如何处理？ 短信平台暂未开放HTTPS调测证书，需忽略证书校验，请前往代码样例查看“忽略证书信任”相关样例。 父主题： 故障排除
导入录制脚本 在性能测试中，虚拟用户模拟真实用户使用被测系统，这个“模拟”的过程可通过录制脚本来实现。例如，电商应用中的“登录、商品搜索、购买”等操作。性能测试服务支持使用基于Chrome浏览器（支持26及以上版本）插件的录制工具，在被压测系统中进行手工操作，捕获请求内容，生成j
场景介绍 场景描述 开发一个示例应用（项目列表），页面展示项目编码、项目名称、项目状态等信息。开发完成的应用集成到ISDP+平台，用户可以通过ISDP+平台访问应用。 场景分析 项目列表展示项目的信息，使用到API资产：【查询项目信息】。 【查询项目信息（openapi/v1/p
SDK能力开放给设备，终端设备调用SDK能力，快速完成华为物联网平台的接入、业务数据上报、下发命令处理等。 数据上报：上报网关和子设备数据到物联网平台。 命令接收：接收来自物联网平台下发给网关和子设备的命令。 回调监听：为第三方应用提供Agent Lite接收到物联网平台消息后，从Agent Lite 获取消息的能力。
AgentOther_PhoneRelease 作用 表示某个座席的物理话机已经挂机。 附带信息 phoneState表示话机释放原因，3表示平台主动挂机，2表示座席挂机。 示例： {"eventType":"AgentOther_PhoneRelease","workNo":"20012"
险），或者自己查看是否有这个页面： 海康设备：登录设备web页面 > 网络 > 高级配置 > 平台接入 > 接入方式 > 28181。 华为设备：web页面高级配置 > 网络 > 平台对接参数 > 第二协议 > T28181。 联系设备经销商或客服询问该设备型号是否支持GB28181协议接入。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
