检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错 问题现象 使用AI市场物体检测YOLOv3_Darknet53算法进行训练，将数据集切分后进行部署在线服务报错，日志如下：TypeError: Cannot interpret feed_dict key
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
Server服务器操作系统 场景描述 Lite Server为一台弹性裸金属服务器，您可以使用BMS服务提供的切换操作系统功能，对Lite Server资源操作系统进行切换。本文介绍以下三种切换操作系统的方式： 在BMS控制台切换操作系统 使用BMS Go SDK的方式切换操作系统 使用Python封装API的方式切换操作系统
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时，每秒服务流量限制默认为100次，若静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
若权重文件大于60G，创建AI应用会报错，提示模型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“模型部署 > 在线服务 > 部署”，开始部署在线服务。 设置部署服务名称，选择Step2 部署模型中创建的
处仅介绍关键参数，更多详细参数解释请参见部署在线服务。 图3 部署在线服务-专属资源池 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。 若以vllm接口启动服务，设置请求路径：“/
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
已存在部署完成的服务。 已完成模型调整，创建AI应用新版本。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。 在部署完成的目标服务中，单击操作列的“修改”，进入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。
例，单击操作列的“打开”，访问JupyterLab。 进入JupyterLab页面后，自动打开Launcher页面，如下图所示。您可以使用开源支持的所有功能，详细操作指导可参见JupyterLab官网文档。 图1 JupyterLab主页 不同AI引擎的Notebook，打开后L
初始化。 因此，推荐在创建AI应用时配置健康检查，并设置合理的延迟检测时间， 实现实际业务的是否成功的检测，确保服务部署成功。 父主题： 在线服务
出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载”
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用，部署模型并启动推理服务，在线预测服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图1 开启故障重启 断点续训练是通过checkpoint机制实现。c
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）
出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
