检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
Wav2Lip基于DevServer适配PyTorch NPU训练指导（6.3.902） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡训练Wav2Lip模型。本文档中提供的Wav2Lip模型，是在原生Wav2Lip代码基础上适配后的模型，可以用于NPU芯片训练。
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
训练作业卡死检测 什么是训练作业卡死检测 训练作业在运行中可能会因为某些未知原因导致作业卡死，如果不能及时发现，就会导致无法及时释放资源，从而造成极大的资源浪费。为了节省训练资源成本，提高使用体验，ModelArts提供了卡死检测功能，能自动识别作业是否卡死，并在日志详情界面上展
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
在ECS上构建自定义镜像并在Notebook中使用 使用场景和构建流程说明 用户可以使用ModelArts提供的基础镜像或第三方的镜像来编写Dockerfile，在ECS服务器上构建出完全适合自己的镜像。然后将镜像进行注册，用以创建新的开发环境，满足自己的业务需求。 本案例将基于
在ModelArts Standard上运行GPU单机单卡训练任务 操作流程 准备工作 购买服务资源（OBS和SWR） 配置权限 创建专属资源池（不需要打通VPC） 安装和配置OBS命令行工具 （可选）工作空间配置 模型训练 本地构建镜像及调试 上传镜像 上传数据和算法到OBS 使用Notebook进行代码调试
查询镜像详情 功能介绍 查询镜像详情。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/images/{id}
从0制作自定义镜像用于创建训练作业（MindSpore+Ascend） 本案例介绍如何从0到1制作Ascend容器镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MindSpore，训练使用的资源是专属资源池的Ascend芯片。 场景描述 目标：构建安
Wav2Lip训练基于DevServer适配PyTorch NPU训练指导（6.3.907） 本文档主要介绍如何在ModelArts Lite的DevServer环境中，使用NPU卡训练Wav2Lip模型。本文档中提供的Wav2Lip模型，是在原生Wav2Lip代码基础上适配后的模型，可以用于NPU芯片训练。
SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907） 本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion模型对应SD1.5和SDXL的Diffusers框架，使用NPU卡进行推理。
创建AI应用 功能介绍 导入元模型创建AI应用。 执行代码、模型需先上传至OBS（训练作业生成的模型已默认存储到OBS）。 接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数，非模
查询AI应用详情 功能介绍 查询AI应用详情，根据AI应用ID查询AI应用的详细信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{projec
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。如果需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 约束限制 创建在线服务时，每秒服务流量限制默认为10
access SMN service failed SMN服务访问失败 系统错误，请联系技术支持。 500 ModelArts.5009 Database operation failed 数据库操作异常 系统错误，请联系技术支持。 500 ModelArts.5010 OBS operation
NPU日志收集上传 场景描述 当NPU出现故障，您可通过本方案收集NPU的日志信息。本方案中生成的日志会保存在节点上，并自动上传至华为云技术支持提供的OBS桶中，日志仅用于问题定位分析，因此需要您提供AK/SK给华为云技术支持，用于授权认证。 约束限制 当前仅支持在贵阳一、乌兰察布一使用该功能。
SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.902） 本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion的Diffusers框架，使用NPU卡进行推理。 方案概览 本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
