检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch NPU指导（6.3.910） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡对MiniCPM-V2.0进行LoRA微调及推理。本文档中提供的训练脚本，是基
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
CogVideoX1.5 5b模型基于DevServer适配PyTorch NPU全量训练指导（6.3.912） 本文档主要介绍如何在ModelArts的DevServer环境中，使用NPU卡对CogVideoX模型进行全量微调。本文档中提供的脚本，是基于原生CogVideoX的
选择优先级1和2，配置了“设置作业为高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3，默认优先级为1，最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面，选择“状态”为“等待中”的训练作业，单
CogVideoX模型基于DevServer适配PyTorch NPU全量训练指导（6.3.911） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡对CogVideoX模型基于sat框架进行全量微调。本文档中提供的脚本，是基于原生CogV
分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora-Plan1
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。
示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux
粒度量化。 参考启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 使用llm-compressor工具量化Deepseek-v2系列模型 本章节介绍如何在GPU的机器上使用开源量化工具llm-co
下。工具相关介绍在benchmark代码目录。 约束限制 当前版本仅支持语言+图片多模态性能测试。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤三：上传代码包和权重文件中已经上传过AscendCloud-LLM-x
从0制作自定义镜像用于创建训练作业（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题：
自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。 内容推荐系统： 根据用户的阅读偏好和历史行为，智能推荐相关新闻，增强用户粘性和满意度。 新闻分析工具： 为分析师提供自动分类的新闻数据，便于进行市场趋势和热点分析。
elArts会提醒您当前用户未配置授权，需联系此IAM用户的管理员账号进行委托授权。 添加授权 登录ModelArts管理控制台，在左侧导航栏选择“权限管理”，进入“权限管理”页面。 单击“添加授权”，进入“访问授权”配置页面，根据参数说明进行配置。 表1 参数说明 参数 说明 “授权对象类型”
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
--trust-remote-code：是否相信远程代码。 高阶参数说明： --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。 --quantiza
--benchmark-csv：结果保存路径，如benchmark_serving.csv。 --served-model-name： 选择性添加， 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 --num-scheduler-steps: 服务启动时如果配置
--benchmark-csv：结果保存路径，如benchmark_serving.csv。 --served-model-name： 选择性添加， 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 --num-scheduler-steps: 服务启动时如果配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
