检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${model_path}请替换为实际使用的模型名称。
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${model_path}请替换为实际使用的模型名称。
图2 挂载成功 方式2：API模式 动态挂载API接口已发布至华北-北京四和华东-上海一站点。请参考JupyterLab主页介绍、在JupyterLab中新建ipynb文件，新建一个ipynb文件然后执行脚本。 挂载脚本代码示例如下。更多API参数介绍请参考动态挂载OBS。
\ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code 通过OpenAI服务API
\ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code 通过OpenAI服务API
API接口： GET /v1/{project_id}/services/{service_id}/predict/endpoints?
ModelArts Standard也支持通过调用API接口创建训练作业，请参见以PyTorch框架创建训练作业。
API接口： GET /v1/{project_id}/services/{service_id}/predict/endpoints?
通过vLLM服务API接口启动服务时，推理请求不涉及此参数。 prompt 是 - Str 请求输入的问题。 max_tokens 否 16 Int 每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。
资源和引擎规格接口 查询资源规格列表 查询引擎规格列表 父主题： 训练管理
_preprocess(self, data) 预处理方法，在推理请求前调用，用于将API接口输入的用户原始请求数据转换为模型期望输入数据。
执行以下命令验证自定义镜像的三个API接口功能。当显示如图所示时，即可调用服务成功。
使用ModelArts Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署，进行AI体验学习。 本文以“商超商品识别”模型为例，完成从AI Gallery订阅模型，到ModelArts一键部署为在线服务的免费体验过程
“API接口公网地址”即在线服务的调用地址。当模型配置文件中apis定义了路径，调用地址后需拼接自定义路径。如：“{在线服务的调用地址}/predictions/poetry”。
如何调用API 构造请求 认证鉴权 返回结果
方式二：通过vLLM服务API接口启动服务 source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${ASCEND_RT_VISIBLE_DEVICES} python -m vllm.entrypoints.api_server
“API接口公网地址”即在线服务的调用地址。当模型配置文件中apis定义了路径，调用地址后需拼接自定义路径。如：“{在线服务的调用地址}/predictions/poetry”。
方式二：通过vLLM服务API接口启动服务 source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${ASCEND_RT_VISIBLE_DEVICES} python -m vllm.entrypoints.api_server
返回结果 请求发送以后，您会收到响应，包含：状态码、响应消息头和响应消息体。 状态码 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头
AppCode使用API网关颁发的AppCode进行身份认证，调用者将AppCode放到请求头中进行身份认证，确保只有授权的调用者能够调用API接口。 AppCode的获取方法：单击AI Gallery页面右上角“我的Gallery”，在左侧菜单栏选择“鉴权管理”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
