检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下： X86_64：x86处理器架构。 AARCH64：ARM体系架构。 create_at Long 镜像创建的时间，UTC毫秒。 description String 该镜像所对应的描述信息，长度限制512个字符。
install等方式安装conda环境的依赖。 更多ModelArts自定义镜像介绍请见自定义镜像简介。 调试要点 确认对应的脚本、代码、流程在linux服务器上运行正常。 如果在linux服务器上运行就有问题，那么先调通以后再做容器镜像。 确认打入镜像的文件是否在正确的位置、是否有正确的权限。 训练场景主要查看自研的依赖包是否正常，查看pip
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
删除服务 删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式
删除服务 功能介绍 删除模型服务，仅可删除本人名下的服务。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/services/{service_id}
wnload/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz 进入容器，执行安装git lfs命令。 cd /home/ma-user tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz cd git-lfs-3
在ECS中创建ma-user和ma-group 在ModelArts训练平台使用的自定义镜像时，默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ECS中的文件，需要修改文件权限改为ma-user可读，否则会出现Permission denied错误，因此需
专属资源池需单独创建，不与其他租户共享。 公共资源池 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 xxx 流量限制（QPS） 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 推荐实例数 = 流量限制 ÷ 推荐的单实例流量限制 1 更多选项 事件通知 选择是否打开“事件通知”开关。
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图3 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。 首次创建AI应用预计花费40~60
服务管理概述 服务管理，包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。 这里的在线服务包括“predictor”和“transformer”两类，都包括下文描述的功能，本章节以“predictor”服务为例进行说明。
推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
更新服务配置 功能介绍 更新模型服务配置。也可以使用此接口启停服务。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/services/{service_id}
Standard推理部署 ModelArts Standard推理服务访问公网方案 端到端运维ModelArts Standard推理服务方案 使用自定义引擎在ModelArts Standard创建AI应用 使用大模型在ModelArts Standard创建AI应用部署在线服务
查询服务日志 查询当前服务对象的日志信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from
部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
