检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
查看已创建作业清单 作业清单页面可以查看虚拟机作业清单、容器作业清单。 查看作业清单 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。 选择左侧导航栏的“EAP&JOB > 脚本执行 > 作业清单”。 默认
通过调整模型参数对异常告警调优 由于超参设置或是数据特征发生变化，导致预测的数据不够准确，出现误告警，可以通过调整模型参数，对生成的异常告警进行调优。本章节介绍不同类型异常告警及调优方法。 调优配置方法 在“异常检测”页面，单击异常检测任务所在行“操作”列的“模型”，默认显示“算法配置”页签，参考表1配置参数。
查看微服务引擎实例数配额 本章节指导您查看微服务引擎的实例数配额及配额使用情况。 查看微服务引擎实例数配额 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。 在“服务发现 & 配置”区域，查看引擎的实例数配额及配额使用情况。
查看微服务引擎配置条目配额 本章节指导您查看微服务引擎的配置条目配额及配额使用情况。 该章节内容只适用于微服务引擎版本为2.x。 查看微服务引擎配置条目配额 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。
微服务引擎转包周期 计费模式为按需计费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 实例从按需变为包周期计费，只是改变计费方式，不会影响应用。 状态为“已冻结”、“删除中”的实例，不支持转包周期。 微服务引擎转包周期 登录ServiceStage控制台，选择“微服务引擎
删除弹性伸缩-HPA策略 您可以根据实际业务需要，删除不再使用的弹性伸缩-HPA策略。 删除操作无法恢复，请谨慎操作。 前提条件 已设置组件弹性伸缩-HPA策略，请参考设置弹性伸缩-HPA策略。 删除弹性伸缩-HPA策略 登录ServiceStage控制台。 选择以下任意方式进入组件“伸缩”页面：
根据环境ID获取环境详细信息 功能介绍 此API通过环境ID获取环境详细信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2/{project_id}/cas/environments/{environment_id} 表1 路径参数 参数 是否必选
根据应用ID获取应用详细信息 功能介绍 此API通过应用ID获取应用详细信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2/{project_id}/cas/applications/{application_id} 表1 路径参数 参数 是否必选
报错“The VS Code Server failed to start”如何解决？ 问题现象 解决方法 检查VS Code版本是否为1.78.2或更高版本，如果是，请查看Remote-SSH版本，若低于v0.76.1，请升级Remote-SSH。 打开命令面板（Windows：
VS Code自动升级后，导致远程连接时间过长 问题现象 原因分析 由于VS Code自动升级，导致连接时需要重新下载新版vscode-server。 解决方法 禁止VS Code自动升级。单击左下角选择Settings项，搜索Update: Mode，将其设置为none。 图1
创建Notebook文件后，右上角的Kernel状态为“No Kernel”如何处理？ 问题现象 现象：创建Notebook文件后，右上角的Kernel状态为“No Kernel”。 原因分析 可能因为用户工作目录下的code.py和创建kernel依赖的import code文件名称冲突。
终端设备绑定到边缘节点 一个边缘节点可以绑定多个终端设备，但一个终端设备只可以被绑定于一个边缘节点。通过绑定终端设备到固定的边缘节点，您可以在边缘节点部署相应的应用，实现管理终端设备和监控终端设备状态等功能。 绑定边缘节点 登录IEF管理控制台。 选择左侧导航栏的“边缘资源 > 终端设备”。
正在运行中的边缘节点可以更换显卡么？ 可以，请按如下步骤操作： 停止IEF agent服务。 systemctl stop edgecore systemctl stop edgedaemon 更换显卡，重新安装显卡驱动，然后拷贝驱动文件，具体请参见安装并配置GPU驱动文件。 启动边缘agent服务。
查询用户团队及角色信息 功能介绍 查询用户团队及角色信息。 URI POST /unidata/public/api/v1/xdm-user/list 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String JWTToken
创建预测分析项目 ModelArts自动学习，包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台，在左侧导航栏单击“开发空间>自动学习”，进入新版自动学习页面。
从训练作业中导入模型文件创建模型 在ModelArts中创建训练作业，并完成模型训练，在得到满意的模型后，可以将训练后得到的模型导入至模型管理，方便统一管理，同时支持将模型快速部署上线为服务。 约束与限制 针对使用订阅算法的训练作业，无需推理代码和配置文件，其生成的模型可直接导入ModelArts。
管理团队和团队成员 修改成员信息 团队中的成员，当其信息发生变化时，可以编辑其基本情况。 在“团队详情”区域，选择需修改的成员。 在成员所在行的“操作”列，单击“修改”。在弹出的对话框中，修改其“描述”或“角色”。 成员的“邮箱”无法修改，如果需要修改邮箱地址，建议先删除此成员，然后再基于新的邮箱地址添加新成员。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
