检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--served-model-name： 选择性添加， 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。
本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
表4 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码，调用成功时无此字段。
表5 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码，调用成功时无此字段。
# 结束训练之后，调用stop接口。 debugger.stop() （可选）梯度数据相似度比对。
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理服务性能评测
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理服务性能评测
图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查： 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查，需要在测试镜像时，同步测试健康检查接口是否可以正常工作，具体参考从0-1
本文档使用的推理接口是vllm。 --host：服务部署的IP。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
本文档使用的推理接口是vllm。 --host：服务部署的IP。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。
异常 自定义镜像健康检查接口必须是xxx。 The health check url of custom image model must be %s. 请修改自定义镜像健康检查接口后重试。 正常 当前镜像构建任务状态为xxx。
列表中元素model_instance对象即为本章节描述的模型管理，可调用模型接口。 支持按照检索参数查询模型列表，返回满足检索条件的模型list，检索参数如表1所示。 在查询列表时，返回list的同时，会打印模型列表的详细信息，如表2和表3所示。
列表中元素“service_instance”对象即为服务管理章节描述的可调用服务接口。 支持按照检索参数查询服务列表，返回满足检索条件的服务list，检索参数如表1所示。 在查询列表时，返回list的同时，默认会打印模型列表的详细信息，如表2和表3所示。
接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。
接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。
约束与限制 ModelArts以10秒/次的频率调用自定义配置中提供的命令或http接口获取指标数据。 自定义配置中提供的命令或http接口返回的指标数据文本不能大于8KB。 命令方式采集自定义指标数据 用于创建自定义指标采集POD的YAML文件示例如下。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
