检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WEBUI套件适配PyTorch NPU的推理指导（6.3.908） SD WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题： AIGC模型训练推理
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 父主题： LLM大语言模型训练推理
服务管理 通过 patch 操作对服务进行更新 查询服务监控信息 查询服务列表 部署服务 查询支持的服务部署规格 查询服务详情 更新服务配置 删除服务 查询专属资源池列表 查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签 查询推理服务标签
镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 架构类型 x86 RoCE路由配置 不支持自动配置，需创建后手动配置。 镜像名称：Ubuntu-20.04-x86-for-Ant1-BareMetal-with-RoCE-and-NVIDIA-525-CUDA-12
real-time类型必选。权重百分比，分配到此模型的流量权重，仅当infer_type为real-time时需要配置，多个权重相加必须等于100；当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时，持续地访问此服务的预测接口，ModelArts会按此权重比例将预测请求转发到对应的模型版本实例。
所有承载ModelArts服务的主机部署了主机安全防护产品。包括不限于华为自研HSS或计算安全平台CSP。 ModelArts服务部署了漏洞扫描服务并自行进行例行扫描，能快速发现漏洞并能及时修复。 ModelArts服务通过统一的安全管控平台对云上资源进行安全运维。 ModelArts服务部署了态势感知服
low工作流、停止因运行Workflow工作流而创建的训练作业和部署的服务。同时，也需清理存储到OBS中的数据。 自动学习：自动学习运行时会收取费用，使用完请及时停止自动学习、停止因运行自动学习而创建的训练作业和部署的服务。同时，也需清理存储到OBS中的数据。 Notebook实例：
在“确认是否继续允许”的弹窗中，单击“确定”，工作流会继续从数据标注节点依次运行到服务部署节点。该段时间不需要用户做任何操作。 当工作流运行到“服务部署”节点，“服务部署”节点会变成橙色，双击“服务部署”节点。在服务部署页签中，可以看到状态变为了“等待输入”。 需要选择填写以下两个参数，其他参数均为默认值，保持不变。
动态扩充云硬盘EVS容量 什么是动态扩容EVS 存储配置采用云硬盘EVS的Notebook实例， 存储盘是挂载至容器/home/ma-user/work/目录下， 可以在实例运行中的状态下，动态扩充存储盘容量，单次最大动态扩容100GB。 动态扩容EVS适用于哪些使用场景 在No
服务管理概述 服务管理，包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。 这里的在线服务包括“predictor”和“transformer”两类，都包括下文描述的功能，本章节以“predictor”服务为例进行说明。
介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题：
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理standard常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
计费样例 计费场景一 某用户于2023/03/18 15:30:00使用一个按需计费的公共资源池进行训练，规格配置如下： 规格：CPU: 8 核 32GB (modelarts.vm.cpu.8ud) 计算节点个数：1个 用了一段时间后，于2023/03/20 10:30:00停
Standard Workflow Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具，核心是将完整的机器学习任务拆分为多步骤工作流，每个步骤都是一个可管理的组件，可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程，使团队能够大规模执行AI任务，并提高模型生成的效率。
目前卡死检测仅支持资源类型为GPU的训练作业。 操作步骤 卡死检测无需额外配置，作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知（短信、邮件等）请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下： 复制数据卡死
卡死检测仅支持资源类型为GPU和NPU的训练作业。 操作步骤 卡死检测无需额外配置，作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知（短信、邮件等）请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下： 复制数据卡死
s管理控制台，完成权限管理配置，然后选择所需功能，直接使用即可。 ModelArts平台仅针对使用计算规格的功能才涉及计费，公共资源池全部为按需模式，根据选用规格以及作业运行时长收费。专属资源池可按需购买，也可选择包年包月购买，在运行训练作业或部署服务时，选择专属资源池，无需另外付费。
Gallery中，您可以查找并订阅免费满足业务需要的算法，直接用于创建训练作业。 AI Gallery中分享的算法支持免费订阅，但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据和模型。 订阅算法 登录“AI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
