检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lite Cluster资源使用 在Lite Cluster资源池上使用Snt9B完成分布式训练任务 在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 在Lite Cluster资源池上使用Snt9B完成推理任务
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
Lite Server资源使用 LLM/AIGC/数字人基于Server适配NPU的训练推理指导 GPT-2基于Server适配PyTorch GPU的训练推理指导
批量重启节点 功能介绍 批量重启指定资源池中的节点 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/pools/{pool
表2 响应Body参数 参数 参数类型 描述 apiVersion String API版本。可选值如下： v1 kind String 资源类型。可选值如下： PluginTemplate：插件模板 metadata PluginTemplateMetadata object 插件模板的metadata信息。
配置Lite Server存储 Server服务器支持SFS、OBS、EVS三种云存储服务，提供了多种场景下的存储解决方案，主要区别如下表所示。若需要对本地盘进行配置，请参考物理机环境配置。 表1 表1 SFS、OBS、EVS服务对比 对比维度 弹性文件服务SFS 对象存储服务OBS
本列表的状态显示为“就绪”时表示模型可以使用。 步骤三：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 在部署页面，参考如下说明填写关键参数。 “名称”：自定义一个在线服务的名称，
object 节点资源量信息。 availableResources NodeResource object 节点可用资源量信息。 表9 NodeResource 参数 参数类型 描述 cpu String CPU资源量。 memory String 内存资源量。 nvidia.com/gpu
部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
弹性集群 Cluster”，进入“弹性集群 Cluster”页面，选择“Lite 资源池”页签。 在“Lite资源池”页签中，单击创建的Lite Cluster专属资源池，进入资源池详情页面。 图1 资源池详情-基本信息 单击基本信息列中对应的“CCE集群”，进入CCE集群详情页面，在“集群信息”找到“连接信息”。
> 弹性集群Cluster”，在“Lite资源池”页签中，单击某个资源池名称，进入资源池详情。 单击左侧“配置管理”，进入资源池配置管理页面。 图1 配置管理 在镜像预热中单击编辑图标，填写镜像预热信息。 表1 镜像预热参数 参数名称 说明 镜像来源 可选择“预置”或“自定义”的镜像。
创建网络 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群 Cluster”，进入“弹性集群 Cluster”页面。 切换到“网络”页签，单击“创建”，弹出“创建网络”页面。 图1 网络列表 在“创建网络”弹窗中填写网络信息。 网络名称：创建网络时默认生成网络名称，也可自行修改。
ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过容器引擎空间大小时，会提示镜像内空间不足。 当前，公共资源池容器引擎空间的大小最大支持50G，专属资源池容器引擎空间的默认为50G，专属资源池容器引擎空间可在创建资源池时自定
表2 Query参数 参数 是否必选 参数类型 描述 resource 是 String 事件所属资源类型。可选值为pools，表示资源池。 name 是 String 事件所属资源名称。 limit 否 Integer 单页查询最大数量，该值为空或者0时默认返回500条记录，单页最大允许查询500条记录。
配置IAM权限 使用华为云主账号创建一个开发者用户组user_group，将开发者账号加入用户组user_group中。具体操作请参见Step1 创建用户组并加入用户。 创建自定义策略。 使用华为云主账号登录控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。
“资源池”：选择“公共资源池”。 “AI应用来源”和“选择AI应用及版本”：会自动选择订阅模型。 “计算节点规格”：在下拉框中选择“限时免费”资源，勾选并阅读免费规格说明。 其他参数可使用默认值。 如果限时免费资源售罄，建议选择收费CPU资源进行部署。当选择收费CPU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。
欠费后，ModelArts的资源是否会被删除？ 欠费后，ModelArts的资源不会被立即删除。 欠费后，您可以在“费用中心”查看欠费详情。为了防止相关资源不会被停止服务或者逾期释放，您需要及时进行还款或充值。 查询欠费步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。
分离部署 PD分离部署使用说明 父主题： 推理关键特性使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
