检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 打开Terminal窗口，执行以下命令启动kernelgateway服务。
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建自定义镜像，用于部署推理服务。
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。
https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py
https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py
base_url="https://infer-modelarts.cn-east-4.myhuaweicloud.com/v1/infers/xxxxxx/v1" # MaaS模型服务的基础url，不包含尾部的chat/completions部分。
创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，可参考后续章节在Notebook调试环境中部署推理服务。 父主题： 准备工作
创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，可参考后续章节在Notebook调试环境中部署推理服务。 父主题： 准备工作
创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，可参考后续章节在Notebook调试环境中部署推理服务。 父主题： 准备工作
创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，可参考后续章节在Notebook调试环境中部署推理服务。 父主题： 准备工作
Ascend vllm使用该特性需参考表1和表2，其它参数请启动推理服务。 启动服务。具体请参考启动推理服务。 精度评测和性能评测。具体请参考推理服务精度评测和推理服务性能评测。 父主题： 推理关键特性使用
service_url：服务接口地址，若服务部署在notebook中，该地址为"http://127.0.0.1:${port}/v1/completions"；若服务部署在生产环境中，该地址由API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看
Standard资源池功能介绍 ModelArts Standard资源池，提供了在使用ModelArts进行AI开发（包括自动学习、创建Workflow工作流、创建Notebook实例、创建训练作业和创建推理服务）所需的计算资源，您可根据需要购买使用Standard资源池。
查询OS的配额 功能介绍 获取ModelArts OS服务中部分资源的配额，如资源池配额、网络配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
Studio服务配置Notebook文件定时调度任务。
准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 Ascend-vLLM版本 本方案支持vLLM的v0.6.3版本。
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
