检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以使用npu-smi info查看空闲卡号，修改davinci后数字可以更改挂载卡。 若需要启动多卡推理服务，则需要挂载多卡，例如再添加一个--device=/dev/davinci2 ${image_name} 代表 ${image_name}。
该模型在综合性OCR能力评测基准OCRBench上达到开源社区的最佳水平，甚至在场景文字理解方面实现接近 Gemini Pro 的性能。 MiniCPM-V2.0值得关注的特性包括: 领先的 OCR 和多模态理解能力。
├── ascend_vllm-0.6.3-py3-none-any.whl # 推理安装包 ├── build.sh # 推理构建脚本 ├── vllm_install.patch # 社区昇腾适配的补丁包
NPU和GPU的评分结果和社区的评分不能差太远（小于10）认为分数有效。 使用Lm-eval精度测评工具 使用lm-eval工具暂不支持qwen-7b、qwen-14b、qwen-72b、chatglm2-6b、chatglm3-6b模型。
支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和（.）。 描述 模型简介。支持100字符。 权重设置与词表 默认选择“使用推荐权重”，支持选择“自定义权重”。
ModelArts当前仅支持CANN商用版本，不支持社区版。 下载Miniconda3安装文件。 使用地址下载地址，下载Miniconda3-py39_24.5.0-0安装文件（对应python 3.9）。
变量名应该仅包含字母、数字、下划线（），且以字母或下划线（）开头。 summary 否 Summary object 可视化日志summary。 表5 Parameters 参数 是否必选 参数类型 描述 name 否 String 参数名称。
限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。
限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。
表2 请求参数 参数 是否必选 参数类型 说明 name 是 String 实例名称，长度限制为64个字符， 支持大小写字母、数字、中划线和下划线。
--decode-server-list：仅在`gen`模式有效，可选输入，后续入参表示若干个vllm增量实例，使用空格隔开，每个vllm实例的数字表示使用的昇腾卡device_id，使用多个昇腾卡时，device_id之间使用`,`分隔开。
--decode-server-list：仅在`gen`模式有效，可选输入，后续入参表示若干个vllm增量实例，使用空格隔开，每个vllm实例的数字表示使用的昇腾卡device_id，使用多个昇腾卡时，device_id之间使用`,`分隔开。
--decode-server-list：仅在`gen`模式有效，可选输入，后续入参表示若干个vllm增量实例，使用空格隔开，每个vllm实例的数字表示使用的昇腾卡device_id，使用多个昇腾卡时，device_id之间使用`,`分隔开。
只能以小写字母开头，由小写字母、数字、中划线（-）组成，不能以中划线结尾。 购买方案 ModelArts Standard场景下选择“ModelArts Standard（标准版）”。
限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。
--decode-server-list：仅在`gen`模式有效，可选输入，后续入参表示若干个vllm增量实例，使用空格隔开，每个vllm实例的数字表示使用的昇腾卡device_id，使用多个昇腾卡时，device_id之间使用`,`分隔开。
系统会自动生成一个名称，您可以根据业务需求重新命名，命名规则如下：只能包含数字、大小写字母、下划线和中划线，长度不能超过128位且不能为空。 “描述” 对Notebook的简要描述。
版本名称，必须是字母、数字、下划线或中划线组成的合法字符串，长度为1-32位。 data_format String 数据格式。 data_sources Array of DataSource objects 数据来源列表。
service_name 是 String 服务名称，支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 description 否 String 服务描述，默认为空，不超过100个字符，不能包含!<>+&"'符号。
限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
