检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备环境 本文档中的模型运行环境是ModelArts Lite的Cluster。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
常见错误原因和解决方法 显存溢出错误 网卡名称错误 联网下载SimSun.ttf时可能会遇到网络问题 在运行finetune_ds.sh 时遇到报错 父主题： Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912）
准备镜像环境 Step1 检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用DCGM监控Lite Server资源 场景描述 本文主要介绍如何在Lite Server上配置DCGM监控，用于监控Lite Server上的GPU资源。 DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控
选择“密钥”。 密钥 设备密钥，可自定义，不填写物联网平台会自动生成。 设备接入平台 方法一: 您可以使用MQTT.fx模拟设备接入平台。操作方法请参考 在线开发MQTT协议的模拟智慧路灯。 方法二： 您可以使用配置设备接入服务时注册的真实设备接入平台。 属性上报 本文使用MQTT.fx模拟设备上报网络信号强度等数据。
设备上报数据 接口说明 设备向物联网平台上报数据。 Topic Topic /huawei/v1/devices/{deviceId}/data/{codecMode} 消息发送方 设备 消息接收方 物联网平台 参数说明 参数 必选/可选 类型 描述 msgType 必选 String
1:8443，选择“系统 > 快速上云向导”，进入快速上云向导界面，单击“下一步”。 图1 快速上云向导 按照下图所示配置安全服务平台，单击“下一步”。 图2 配置安全服务平台 配置DNS服务器地址，单击“下一步”。 图3 配置DNS服务器 按照下图所示配置日志发送，单击“下一步”。 图4 配置日志发送
如何删除部门 选中需要删除的部门，点击右上角删除部门按钮，在弹出的二级验证菜单里点击是按钮，删除部门。 父主题： 创建企业
打开其他We码小程序 打开其他We码小程序，支持传参。 请求参数 参数 类型 必填 说明 uri String 是 跳转We码的路径 extraData Object 是 传给跳转We码的数据，数据可以在跳转We码的onShow事件中获取到 注意：跳转We码的路径，如果是调试版appId后面需要加
打开联系人详情页面 扫码体验： 请求参数 参数 类型 必填 说明 userId String 否 用户账号，如：zhangsan@yourcompany userEmail String 否 用户邮箱，如：zhangsan@yourcompany.com 注意：userId、us
TOMCAT常用配置 修改端口 TOMCAT安装时默认的端口8080，TOMCAT安装版可以在安装中修改。对于安装完成后和解压版TOMCAT如何修改呢？ 找到TOMCAT安装目录下的\conf\server.xml文件，用记事本打开，搜索安装时设置的端口值或默认的值8080，将其替换为要设置的端口值。
查询客户端配额已绑定的客户端应用列表 功能介绍 查询客户端配额已绑定的客户端应用列表。支持按客户端应用名称模糊匹配 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET
查询后端API部署历史 功能介绍 在某个实例中查询后端API的部署记录。 URI GET /v1/{project_id}/apic/instances/{instance_id}/livedata-apis/{ld_api_id}/deploy 表1 路径参数 参数 是否必选 参数类型
在SLB中创建资源 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 在SLB中创建资源 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“资源管理 > 资源”。 单
配置微服务治理 微服务部署完后，您可以根据微服务的运行情况进行微服务的治理。 治理策略说明 支持负载均衡、限流、故障隔离、容错、降级、熔断、错误注入、超时时间和OLC流控等策略的配置。各治理项说明如表1所示。 表1 治理策略说明 名称 说明 负载均衡 微服务一般会部署多个实例，负
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
