检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧“我的资产 > 模型”下，选择未发布的模型，单击模型名称，进入模型详情页。 在模型详情页，单击右侧“发布”，在发布模型页面编辑发布信息后，单击“发布”。 表1 发布模型的参数说明 参数名称 说明 中文名称 模型发布后显示的名称，在创建模型时设置的名称，此处不可编辑。
模型NPU卡数取值表 不同模型推荐的训练参数和计算规格要求如表1所示。
模型管理计费项 计费说明 在ModelArts创建模型不收费，但在通过OBS导入模型时，需要先将模型包文件存放到OBS中，OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https
DeepSeek系列模型推理 DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。
父主题： 模型训练
训练模型
使用ModelArts Standard训练模型
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
这使得其训练成本相较于训练一个独立的LLM模型要小得多。 为每个模型提供针对性的投机模型： Eagle的模型大小及结构，与基模型的某一层完全相同，这使得它的大小远远小于其基模型。解决了对于部分原始LLM模型，找不到合适的投机模型的问题。
在MaaS中创建模型 在ModelArts Studio大模型即服务平台使用基础模型创建个人专属模型。 场景描述 MaaS提供了基于昇腾云算力适配的开源大模型，您可以使用这些基础模型，结合推荐的模型权重文件或自定义的模型权重文件，创建个人专属的模型。
量化方法：W4A16 per-group/per-channel，W8A16 per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
