检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Error截图 图2 选不到Kernel 原因分析 用户误操作引起的。 解决方案 打开Terminal窗口，执行以下命令启动kernelgateway服务。 API_TYPE=kernel_gateway.jupyter_websocket LOG_DIR="/home/ma-user/log"
Jupyter可以安装插件。 目前jupyter插件多数采用wheel包的形式发布，一次性完成前后端插件的安装，安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装，不要使用默认的anacond
查询API和APP 功能介绍 查询服务授权的API、APP信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/servi
model_len访问推理服务，服务端响应200，见图3。 客户端仍返回报错Response payload is not completed，见图4。 图2 服务端返回报错Response payload is not completed 图3 服务端响应200 图4 仍返回报错Response
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
model_len访问推理服务，服务端响应200，见图3。 客户端仍返回报错Response payload is not completed，见图4。 图2 服务端返回报错Response payload is not completed 图3 服务端响应200 图4 仍返回报错Response
model_len访问推理服务，服务端响应200，见图3。 客户端仍返回报错Response payload is not completed，见图4。 图2 服务端返回报错Response payload is not completed 图3 服务端响应200 图4 仍返回报错Response
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
附录：config.json文件 config.json文件用于推理服务启动时，需要修改以下参数，4台机器的每个容器中config.json文件内容一致。 ipAddress：主节点IP地址，即rank_table_file.json文件中的server_id。 manageme
解除API对APP的授权 功能介绍 解除指定的API对APP的授权，请求用户对API所属服务必须有更新权限。同URL：/v1/{project_id}/app-auth/{service_id}/apis/{api_id}/auths 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
查询OS的配置参数 功能介绍 获取ModelArts OS服务的配置参数，如网络网段，用户资源配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
解 本示例将展示如何定义一个获取送货日期的函数，并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import OpenAI client = OpenAI( api_key="您的
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
lArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
