检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907） 本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion模型对应SD1.5和SDXL的Diffusers框架，使用NPU卡进行推理。
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16 per-channel Step1
优化能力，在使用NPU的场景下，支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划，进而提升节点之间的通信速度。 本案例介绍如何在ModelArts Lite场景下使用ranktable路由规划完成Pytorch NPU分布式训练任务，训练任务默认使用Volcano
使用AI Gallery的订阅算法实现花卉识别 本案例以“ResNet_v1_50”算法、花卉识别数据集为例，指导如何从AI Gallery下载数据集和订阅算法，然后使用算法创建训练模型，将所得的模型部署为在线服务。其他算法操作步骤类似，可参考“ResNet_v1_50”算法操作。
Workflow 区别于传统的机器学习模型构建，开发者可以使用Workflow开发生产流水线。基于MLOps的概念，Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念，产品上将工作流的开发和持续迭代分开。 一条流水线由多个节点组成，Workflow SDK提供了流水
Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导（6.3.905） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora训练和推理。 资源规格要求
SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.902） 本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion的Diffusers框架，使用NPU卡进行推理。 方案概览 本
CogVideoX训练推理基于DevServer适配PyTorch NPU指导（6.3.910） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡对CogVideoX进行LoRA微调及推理。本文档中提供的脚本，是基于原生CogVideoX的
MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch NPU指导（6.3.910） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡对MiniCPM-V 2.0进行LoRA微调及推理。本文档中提供的训练脚本，是
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
Service，并且提供在线的测试UI与监控能力，服务一直保持运行。 batch为批量服务，批量服务可对批量数据进行推理，完成数据处理后自动停止。 edge表示边缘服务，通过华为云智能边缘平台，在边缘节点将模型部署为一个Web Service，需提前在IEF（智能边缘服务）创建好节点。 vpc_id
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
选择优先级1和2，配置了“设置作业为高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3，默认优先级为1，最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面，选择“状态”为“等待中”的训练作业，单
--served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。
Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora-Plan1
示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux
自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。 内容推荐系统： 根据用户的阅读偏好和历史行为，智能推荐相关新闻，增强用户粘性和满意度。 新闻分析工具： 为分析师提供自动分类的新闻数据，便于进行市场趋势和热点分析。
从0制作自定义镜像用于创建训练作业（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_
elArts会提醒您当前用户未配置授权，需联系此IAM用户的管理员账号进行委托授权。 添加授权 登录ModelArts管理控制台，在左侧导航栏选择“权限管理”，进入“权限管理”页面。 单击“添加授权”，进入“访问授权”配置页面，根据参数说明进行配置。 表1 参数说明 参数 说明 “授权对象类型”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
