检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下：
在MaaS体验模型服务 在ModelArts Studio大模型即服务平台，运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下：
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下：
训练迁移快速入门案例 本篇指导是迁移的总体思路介绍，便于用户对迁移过程有一个整体的认识。如果您希望通过具体案例直接实操，请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。
AI Gallery功能介绍 面向开发者提供了AI Gallery大模型开源社区，通过大模型为用户提供服务，普及大模型行业。AI Gallery提供了大量基于昇腾云底座适配的三方开源大模型，同步提供了可以快速体验模型的能力、极致的开发体验，助力开发者快速了解并学习大模型。 构建零
ModelArts昇腾迁移调优工具总览 ModelArts集成了多个昇腾迁移调优工具，方便您在ModelArts平台环境中进行训练推理迁移、精度调试、性能调优等工作，您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。 表格中的部分工具已集成到ModelArt
multi-lora 什么是multi-lora LoRA（Low-Rank Adaptation）是一种适用于大模型的轻量化微调技术方法。原理是通过在模型层中引入低秩矩阵，将大模型的权重降维处理，来实现高效的模型适配。相比于传统的微调方法，LoRA不仅能大幅减少所需的训练参数，
查看批量服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件
查看在线服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件
续费概述 续费简介 包年/包月专属资源池到期后会影响ModelArts正常使用。如果您想继续使用，需要在指定的时间内为资源池续费，否则资源会自动释放，数据丢失且不可恢复。 续费操作仅适用于包年/包月专属资源池，按需计费专属资源池不需要续费，只需要保证账户余额充足即可。 专属资源池
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
变更计费模式 在购买专属资源池后，如果发现当前计费模式无法满足业务需求，您可以变更计费模式。 如果您需要长期使用当前按需购买的ModelArts专属资源池，可以将该专属资源池转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。
查询服务日志 查询当前服务对象的日志信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from
资源池监控 功能介绍 获取资源池的监控信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/pools/{pool_name}/monitor
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
推理服务精度评测 本章节介绍了2种精度测评方式，分别为Lm-eval工具和MME工具。 lm-eval工具适用于语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等，该工具为离线测评，不需要启动推理服务。
手动续费 包年/包月专属资源池从购买到被自动删除之前，您可以随时在ModelArts控制台为专属资源池续费，以延长专属资源池的使用时间。 在ModelArts控制台续费 包年/包月的Standard专属资源池、弹性集群Lite Cluster资源池和弹性节点Server资源池在购买成功后支持手动续费操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
