检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。多模态只支持hf上下载的awq权重，可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16
数据准备使用流程 ModelArts是面向AI开发者的一站式开发平台，能够支撑开发者从数据到模型的全流程开发过程，包含数据处理、算法开发、模型训练、模型部署等操作。并且提供AI Gallery功能，能够在市场内与其他开发者分享数据、算法、模型等。为了能帮用户快速准备大量高质量的数据，Model
更新管理 ModelArts在线服务更新 对于已部署的推理服务，ModelArts支持通过更换模型的版本号，实现服务升级。 推理服务有三种升级模式：全量升级、滚动升级（扩实例）和滚动升级（缩实例）。了解三种升级模式的流程，请参见图1。 全量升级 需要额外的双倍的资源，先全量创建新版本实例，然后再下线旧版本实例。
通过图像特征来为扩散模型的生成过程提供更加精细控制的方式。 将Controlnet适配到昇腾卡进行训练，可以提高能效、支持更大模型和多样化部署环境，提升昇腾云在图像生成和编辑场景下的竞争力。 本章节介绍SDXL&SD 1.5模型的Controlnet训练过程。 Step1 处理fill50k数据集
找并订阅相应的场景化AI案例。订阅后可以一键运行案例。 AI Gallery中分享的案例支持免费订阅，但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据和模型。 订阅并使用AI案例 登录“AI
计费说明 在ModelArts进行AI全流程开发时，会产生计算资源的计费，计算资源为进行运行自动学习、Workflow、开发环境、模型训练和部署服务的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 专属资源池 使用计算资源的用量。 具
Standard开发平台的训练作业、部署模型以及开发环境时，可以使用Standard专属资源池的计算资源。使用前，您需要先购买创建一个专属资源池。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。 用户下发训练作业、部署模型、使用开发环境实例等，均
让零AI基础的业务开发者可快速完成模型的训练和部署。 ModelArts自动学习，为入门级用户提供AI零代码解决方案 支持图片分类、物体检测、预测分析、声音分类场景 自动执行模型开发、训练、调优和推理机器学习的端到端过程 根据最终部署环境和开发者需求的推理速度，自动调优并生成满足要求的模型
自动学习 准备数据 模型训练 部署上线 模型发布
ModelArts Studio大模型即服务平台已预置非量化模型与AWQ-W4A16量化模型的模型模板。 非量化模型可以支持调优、压缩、部署等操作。 量化模型仅支持部署操作。当需要获取SmoothQuant-W8A8量化模型时，则可以通过对非量化模型进行模型压缩获取。
Edge 在ModelArts中使用边缘节点部署边缘服务时能否使用http接口协议？
查询数据集的团队标注任务列表 功能介绍 查询数据集的团队标注任务列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/da
使用自动学习实现预测分析 准备预测分析数据 创建预测分析项目 训练预测分析模型 部署预测分析服务 父主题： 使用自动学习实现零代码AI开发
成AI建模和应用。 如果您想了解如何使用ModelArts Standard一键部署现有的模型，并在线使用模型进行预测，您可以参考使用ModelArts Standard一键完成商超商品识别模型部署。 ModelArts Standard同时提供了自动学习功能，帮助用户零代码构建
如何定位Workflow运行报错 使用run模式运行工作流报错时，分析解决思路如下： 确认安装的SDK包是否是最新版本，避免出现包版本不一致问题。 检查编写的SDK代码是否符合规范，具体可参考相应的代码示例。 检查运行过程中输入的内容是否正确，格式是否与提示信息中要求的一致。 根
训练预测分析模型 创建自动学习后，将会进行模型的训练，得到预测分析的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面，单击创建成功的项目名称，查看当前工作流的执行情况。 在“预测分析”节点中，待节点状态由“运行中”变为“运行成功”，即完成了模型的自动训练。
Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题： 功能介绍
数据标注 ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后，其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
