检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AIGC工具tailor使用指导 tailor简介 tailor是AIGC场景下用于模型转换（onnx到mindir）和性能分析的辅助工具，当前支持以下功能。 表1 功能总览 功能大类 具体功能 模型转换 固定shape转模型 动态shape传入指定档位转模型 支持fp32 支持AOE优化
基于MaaS DeepSeek API和Dify快速构建网站智能客服 本文介绍如何使用MaaS（大模型即服务平台）的免费Token额度的满血版DeepSeek-R1 API接入Dify（开源Agent平台），快速构建AI对话机器人并将其嵌入在网页页面中。当免费Token额度用完后
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。
在AOM控制台查看ModelArts所有监控指标 ModelArts会定期收集资源池中各节点的关键资源（GPU、NPU、CPU、Memory等）的使用情况以及开发环境、训练作业、推理服务的关键资源的使用情况，并上报到AOM，用户可直接在AOM上查看。 登录AOM控制台查看监控指标
部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
准备镜像环境 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
准备镜像环境 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
ma-cli ma-job训练作业支持的命令 使用ma-cli ma-job命令可以提交训练作业，查询训练作业日志、事件、使用的AI引擎、资源规格及停止训练作业等。 $ ma-cli ma-job -h Usage: ma-cli ma-job [OPTIONS] COMMAND
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
moondream2基于Lite Server适配PyTorch NPU推理指导 方案概览 本文档从模型部署的环境配置、模型转换、模型推理等方面进行介绍moondream2模型在ModelArts Lite Server上部署，支持NPU推理场景。 本方案目前仅适用于部分企业客户
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
部署服务 功能介绍 将模型部署为服务。 公共池中挂载密钥，支持HCS第三方用户使用secret_volumes字段来进行密钥挂载，且不提供UI界面，只能通过内部接口进行调用。 支持在modelarts边缘服务通过service_secrets来挂载密钥管理当中的密钥。 调试 您可以在API
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
从Manifest文件导入规范说明 Manifest文件中定义了标注对象和标注内容的对应关系。此导入方式是指导入数据集时，使用Manifest文件。选择导入Manifest文件时，可以从OBS导入。当从OBS导入Manifest文件时，需确保当前用户具备Manifest文件所在OBS路径的权限。
从0制作自定义镜像用于创建训练作业（MindSpore+Ascend） 本案例介绍如何从0到1制作Ascend容器镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MindSpore，训练使用的资源是专属资源池的Ascend芯片。 场景描述 目标：构建安
GPT-2基于Server适配PyTorch GPU的训练推理指导 场景描述 本文将介绍在GP Ant8裸金属服务器中，使用DeepSpeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-DeepSpeed
模型适配 MindSpore Lite是华为自研的推理引擎，能够最大化地利用昇腾芯片的性能。在使用MindSpore Lite进行离线推理时，需要先将模型转换为mindir模型，再利用MindSpore Lite作为推理引擎，将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。
Notebook专属预置镜像列表 ModelArts开发环境提供Docker容器镜像，可作为预构建容器运行。预置镜像里面包含PyTorch，Tensorflow，MindSpore等常用AI引擎框架，镜像命名以AI引擎为主，并且每个镜像里面都预置了很多常用包，用户可以直接使用而无需重新安装。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
