检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
"annotation": … } 为了说明方便，下面的Manifest例子格式化为多行的json对象。 Manifest文件可以由用户、第三方工具或ModelArts数据标注生成，其文件名没有特殊要求，可以为任意合法文件名。为了ModelArts系统内部使用方便，ModelArts数
Lite Server GPU A系列裸金属服务器如何进行RoCE性能带宽测试？ GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法？ 如何将Ubuntu20.04内核版本从低版本升级至5.4.0-144-generic？ 如何禁止Ubuntu 20.04内核自动升级？
04的镜像；系统盘设置为100GiB。具体操作请参考购买并登录弹性云服务器。 图2 选择镜像和磁盘 购买弹性公网IP并绑定到弹性云服务器。具体操作请参考配置网络。 配置VM环境。 在docker机器中，使用如下命令下载安装脚本。 wget https://cnnorth4-modelarts-sdk
inf_cluster_id 否 String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list 否 Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。
配置ModelArts基本使用权限 场景描述 Step1 创建用户组并加入用户 Step2 为用户配置云服务使用权限 Step3 为用户配置ModelArts的委托访问授权 Step4 测试用户权限 父主题： 典型场景配置实践
SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908） SD WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题： AIGC模型训练推理
FAQ CUDA和CUDNN run.sh脚本测试ModelArts训练整体流程 ModelArts环境挂载目录说明 infiniband驱动的安装 如何保证训练和调试时文件路径保持一致 父主题： 专属资源池训练
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
服务启动失败 问题现象 当服务事件中出现如下事件时，表示容器启动失败。 图1 服务启动失败 原因分析 服务启动失败的原因比较多样，可能有如下几种情况： AI应用本身问题，无法启动 镜像中配置的端口错误 健康检查配置有问题 模型推理代码customize_service.py编写有问题
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s
inf_cluster_id String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。
推理部署使用场景 AI模型开发完成后，在ModelArts服务中可以将AI模型创建为模型，将模型快速部署为推理服务，您可以通过调用API的方式把AI推理能力集成到自己的IT平台，或者批量生成推理结果。 图1 推理简介 训练模型：可以在ModelArts服务中进行，也可以在您的本地
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备模型代码包和权重文件 将OBS中的
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
