检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后
计费项 自动学习/Workflow计费项 数据管理计费项 开发环境计费项 模型训练计费项 模型管理计费项 推理部署计费项 专属资源池计费项
tions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingFace的权重路径。若服务部署在notebook中，
进行剪枝，并保存剪枝后的模型；2、使用剪枝后的模型进行推理部署。 常用的剪枝技术包括：结构化稀疏剪枝、半结构化稀疏剪枝、非结构化稀疏剪枝。 FASP剪枝 FASP剪枝是一种结构化稀疏剪枝方法，能有效降低模型显存以及需要部署的资源依赖，减小推理过程中的计算量，降低增量推理时延，提升吞吐。
odelArts基础镜像，可先尝试直接使用工具命令，如果相关命令不存在则需要参考工具安装指导自行安装。 表1 ModelArts昇腾迁移调优工具总览表 使用场景 类别 工具名称 工具描述 工具安装 使用指导 PyTorch GPU训练迁移至PyTorch NPU训练 训练迁移 Transfer2NPU
使用自动学习实现声音分类 准备声音分类数据 创建声音分类项目 标注声音分类数据 训练声音分类模型 部署声音分类服务 父主题： 使用自动学习实现零代码AI开发
使用自动学习实现文本分类 准备文本分类数据 创建文本分类项目 标注文本分类数据 训练文本分类模型 部署文本分类服务 父主题： 使用自动学习实现零代码AI开发
Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912） Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题： LLM大语言模型训练推理
i是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。完成依赖安装和环境变量配置后，以Llama2-70B为例： huggingface-cli download --resume-download meta-l
i是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。完成依赖安装和环境变量配置后，以Llama2-70B为例： huggingface-cli download --resume-download meta-l
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
activate”命令激活指定的 “conda env”，需要使用其他方式以达成使用指定“conda env”来启动训练的效果。假设您的自定义镜像中的“conda”安装于“/home/ma-user/anaconda3”目录“conda env”为“python-3.7.10”，训练脚本位于“/home/
BS桶，单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACLs”，检查当前账号是否具备读写权限，如果没有权限，请联系桶的拥有者配置权限。 确保此OBS桶是非加密桶 进入OBS管理控制台，选择当前自动学习项目使用的OBS桶，单击桶名称进入概览页。 确保此OBS桶的加密功
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.906） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.908） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
通过VS Code远程使用Notebook实例 VS Code连接Notebook方式介绍 安装VS Code软件 VS Code一键连接Notebook VS Code ToolKit连接Notebook VS Code手动连接Notebook 在VS Code中上传下载文件 父主题：
API/SDK 安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError” ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 调用API创建训练作业，训练作业异常 用户执行huaweicloud
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
DeepSeek系列模型推理 DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导 基于MaaS DeepSeek API和Dify快速构建网站智能客服 基于MaaS DeepSeek API和Cherry Studio快速构建个人AI智能助手
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.907） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
