检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户项目ID。获取方法请参见获取项目ID和名称。 plugintemplate_name 是 String 插件模板的名称。可选值如下： gpu-driver：GPU驱动插件模板信息 npu-driver：NPU驱动插件模板信息 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型
获取自动化搜索作业yaml模板的内容 功能介绍 获取自动化搜索作业yaml模板的内容。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{projec
获取自动化搜索作业yaml模板的信息 功能介绍 获取自动化搜索作业yaml模板的信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{projec
工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四
工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四
工具函数集 ├── benchmark.py # 执行静态，动态性能评测脚本 执行性能测试脚本前，需先安装相关依赖。 pip install -r requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmar
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmar
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmar
工具函数集 ├── benchmark.py # 执行静态，动态性能评测脚本、 ├── requirements.txt # 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmar
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmar
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四
benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四
支持per-tensor静态量化和per-tensor+per-head静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT
tensor静态量化、per-tensor+per-head静态量化以及per-token，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT
OBS）。 接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数，非模板参数表示适合不使用模板导入时填写的参数，公共参数表示与导入方式无关的参数。 使用模板导入模型时(model_t
（只支持已安装docker环境的ECS）。 使用ma-cli image get-template命令查询镜像构建模板 ma-cli提供了一些常用的镜像构建模板，模板中包含了在ModelArts Notebook上进行Dockerfile开发的牵引指导。 $ ma-cli image
发送请求的服务。支持vllm的openai，atb的tgi模板 ├── ... ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark
在模型广场查看模型 在模型广场页面，ModelArts Studio大模型即服务平台提供了丰富的开源大模型模板，在模型详情页可以查看模型的详细介绍，根据这些信息选择合适的模型模板，用于创建模型。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
