检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
} } } } }] apis定义提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。 创建模型填写apis。在创建的模型部署服务成功后，进行预测时，会自动识别预测类型。 创建模型时不填写apis。在创建的模型部署服务成功后，进行预测，
stom），显示引擎包地址。 运行环境 如果元模型来源于训练作业/对象存储服务（AI引擎为预置引擎），显示元模型依赖的运行环境。 容器调用接口 如果元模型来源于对象存储服务（AI引擎为Custom）/容器镜像，显示模型启动的协议和端口号。 推理代码 如果元模型来源于训练作业且为旧版训练作业，则显示推理代码的存放路径。
/home/mind/model/ascend_vllm/ python /home/mind/model/ascend_vllm/vllm/entrypoints/api_server.py --model="${model_path}" --ssl-keyfile="/home/mind/model/key
“选择标注团队”：任务类型设置为“指定标注团队”，需在此参数中指定一个团队，同时勾选此团队中某几个成员负责标注。下拉框中将罗列当前账号下创建的标注团队及其成员。 “选择标注接口人”：任务类型设置为“指定标注管理员”，需在所有团队的“Team Manager”中选择一人作为管理员。 “自动将新增图片同步给标注团队”
后续操作 本地安装ModelArts SDK后，需完成Session鉴权。Session鉴权完成后，您可直接调用ModelArts的SDK接口。 FAQ：安装ModelArts SDK报错 在Windows上安装ModelArts SDK，Python版本需≤3.10.x版本，推荐使用3
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
instance_id，npu Snt9B Snt9C 40 npu_network_port_link_status NPU网口link状态 NPU卡的对应网口link状态 - 0：UP 1：DOWN instance_id，npu 41 npu_roce_tx_rate NPU网卡上行速率
选择该VPC下的一个子网。 IPv6网络 若当前网络配置的子网、规格、镜像都支持IPv6，则会显示该参数，打开后可启用IPv6功能。 请确保您的子网已开启IPv6功能，若未开启请参考为虚拟私有云创建新的子网。 不同规格、镜像对IPv6支持的情况不同，若不支持则不会显示IPv6网络参数，请以控制台实际显示为准。
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时，推理请求不涉及此参数。 prompt 是 -
描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时，推理请求不涉及此参数。 prompt 是 -
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
更多选项 内容审核 选择是否打开内容审核，默认启用。 开关打开（默认打开），内容审核可以阻止模型推理中的输入输出中出现不合规的内容，但可能会对接口性能产生较大影响。 开关关闭，停用内容审核服务，将不会审核模型推理中的输入输出，模型服务可能会有违规风险，请谨慎关闭。 关闭“内容审核”开
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
