检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
7b，两者要完全一致。 --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。 --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应。
avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（请求总时延）：请求从到达服务开始到结束的耗时 以上指标单位均是ms，保留2位小数。 父主题： 推理性能测试
avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（请求总时延）：请求从到达服务开始到结束的耗时 以上指标单位均是ms，保留2位小数。 父主题： 推理服务性能评测
7b，两者要完全一致。 --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。 --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应。
7b，两者要完全一致。 --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。 --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应。
avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（请求总时延）：请求从到达服务开始到结束的耗时 以上指标单位均是ms，保留2位小数。 父主题： 主流开源大模
7b，两者要完全一致。 --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。 --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应。
avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（请求总时延）：请求从到达服务开始到结束的耗时 以上指标单位均是ms，保留2位小数。 父主题： 推理性能测试
ngface的权重路径 --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。 --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应
用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选
只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 WebSocket在线服务调用 WebSocket协议
解决方法一 方法一：检查VS Code网络是否正常。在VS Code插件市场上搜索ModelArts-HuaweiCloud，如果显示如下则网络异常，请切换代理或使用其他网络。 操作完成后再次执行搜索，如果显示如下则网络正常，请回到ModelArts控制台界面再次单击界面上的“VS
tributed-executor-backend=ray】，其他参数与正常启服务一致即可。具体参考本文单机场景下OpenAI服务的API接口启动在线推理服务方式。 推理请求测试 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见启动在线推理服务。 通过OpenAI
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 user_id 否 String 用户ID，获取方法请参见获取用户ID和名称。 当u
出现该错误，是因为模型报错太多。当模型报错太多时，会触发dispatcher的熔断机制，导致预测失败。建议您检查模型返回结果，处理模型报错问题，可尝试通过调整请求参数、降低请求流量等方式，提高模型调用的成功率。 父主题： 服务预测
Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见如何调用API。 同时ModelArts还提供多种编程语言的SDK供您使用，SDK的使用方法请参见ModelArts SDK参考。 终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不
用户执行huaweicloud.com相关API超时 问题现象 用户在Notebook里通过request请求接口时超时：GET pangu-xxx.cn-southwest-2.myhuaweicloud.com。 原因分析 在Notebook中访问公网需要通过代理，访问huawei
图5 调用指南 在postman调试预测采用AppCode认证： 请求POST URL填APP认证调用地址 请求头Headers中KEY参数为X-Apig-AppCode，VALUE参数为AppCode值 请求Body按照接口定义传参，本案例中KEY参数为images，选择为F
约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 前提条件 已经获取用户Token、预测文件的本地路径、在线服务的调用地址和在线服务的输入参数信息。
修改模型服务QPS 流量限制QPS是评估模型服务处理能力的关键指标，它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。因此，能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
