检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
SSS”(其中hh表示小时，mm表示分钟，ss表示秒，SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性：形状特征，类型为List。以图片的左上角为坐标原点[0, 0]，每个坐标点的表示方法为[x, y]，x表示横坐标，y表示纵坐标(x和y均>=0)。每种形状的格式如下：
SSS”(其中hh表示小时，mm表示分钟，ss表示秒，SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性：形状特征，类型为List。以图片的左上角为坐标原点[0, 0]，每个坐标点的表示方法为[x, y]，x表示横坐标，y表示纵坐标(x和y均>=0)。每种形状的格式如下：
select：单选下拉列表 values Array of LabelAttributeValue objects 标签属性值列表。 表14 LabelAttributeValue 参数 参数类型 描述 id String 标签属性值ID。 value String 标签属性值。 表15 LabelProperty
SSS”(其中hh表示小时，mm表示分钟，ss表示秒，SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性：形状特征，类型为List。以图片的左上角为坐标原点[0, 0]，每个坐标点的表示方法为[x, y]，x表示横坐标，y表示纵坐标(x和y均>=0)。每种形状的格式如下：
SSS”(其中hh表示小时，mm表示分钟，ss表示秒，SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性：形状特征，类型为List。以图片的左上角为坐标原点[0, 0]，每个坐标点的表示方法为[x, y]，x表示横坐标，y表示纵坐标(x和y均>=0)。每种形状的格式如下：
SSS”(其中hh表示小时，mm表示分钟，ss表示秒，SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性：形状特征，类型为List。以图片的左上角为坐标原点[0, 0]，每个坐标点的表示方法为[x, y]，x表示横坐标，y表示纵坐标(x和y均>=0)。每种形状的格式如下：
scend Snt9B。训练至少需要单机8卡，推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
model_baseline_performance表示调优前模型执行时间，单位为ms。 model_performance_improvement表示调优后模型执行时间减少百分比。 model_result_performance表示调优后模型执行时间。 repo_summary中的信息表示调优过程中使用到的
vServer资源和Ascend Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
介绍如何迁移到推理自定义引擎。 第三方案例列表 第三方案例来源为华为云开发者社区“云驻计划”。由于ModelArts产品的持续更新和迭代，第三方案例中的界面和步骤可能因时效性而与最新产品有所差异，仅供学习和参考。 表5 第三方案例列表 分类 文章名称 作者 Standard自动学习
说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
章节ModelArts统一镜像列表。 各模块独有的镜像：仅适用单个模块（例如训练的预置镜像只能用于训练），此类镜像为ModelArts早期的镜像，后续会陆续下线。对应章节Notebook专属预置镜像列表、训练专属预置镜像列表、推理专属预置镜像列表。 自定义镜像：用户参照ModelArts镜像规范制作的镜像。
模型包规范介绍 订阅模型 ModelArts支持统一管理从AI Gallery订阅模型，订阅的模型可以直接用于服务部署。 在AI应用“我的订阅”列表中，罗列当前帐号订阅的所有模型及其版本。同时支持将模型快捷部署为服务。 从AI Gallery订阅模型 部署上线 通常AI模型部署和规模化落
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
