如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
父主题： 云原生AI
云原生AI插件 CCE AI套件（NVIDIA GPU） CCE AI套件（Ascend NPU） 父主题： 插件
AI推理框架插件 插件简介 AI推理框架插件是一款面向AI模型全生命周期管理的云原生插件，支持用户通过声明式API自定义注册、部署及调度AI大模型，并高效执行推理任务。 该特性当前正处于上线阶段，已发布区域请以控制台实际为准。
AI任务管理 Kubeflow插件 Kuberay 父主题： 云原生AI
云原生AI套件概述 云原生AI套件以华为云CCE服务为基础，为您提供开箱即用的AI训练与推理全流程的解决方案，涵盖AI资源管理、AI负载调度、AI任务管理、AI数据加速及AI服务部署等服务，提供端到端的全栈支持与优化。
AI服务部署 AI推理框架插件 AI推理网关插件 LeaderWorkerSet插件 kagent插件 父主题： 云原生AI
AI数据加速 Fluid数据加速引擎概述 AI数据加速引擎插件 父主题： 云原生AI
AI推理网关插件 随着大规模语言模型（LLM）及人工智能（AI）推理服务的迅猛发展，云原生AI团队面临着愈加复杂的推理流量治理难题。
AI数据加速引擎插件 在处理AI和大数据任务时，Kubernetes面临计算存储分离导致的高延迟和带宽浪费、数据管理不足、存储接口碎片化，以及缺乏智能数据感知与调度等核心挑战。为此，CCE Standard/Turbo集群基于Fluid提供AI数据加速引擎插件。
CCE AI套件（NVIDIA GPU） 插件简介 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 约束与限制 下载的驱动必须是后缀为“.run”的文件。
云原生AI 云原生AI套件概述 AI负载调度 AI任务管理 AI数据加速 AI服务部署
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。
约束与限制 集群中使用“AI加速型”节点时必须安装CCE AI套件（Ascend NPU）插件。 “AI加速型”节点迁移后会重置节点。
基本概念 表1 插件基本概念 概念 定义 作用 代理（Agent） AI Agent是一种基于人工智能的应用程序，能够以自然语言与用户交互，并代表用户执行任务。 自然语言交互：允许用户通过日常语言与复杂系统交互，无需记忆命令或查阅文档，显著提升非专家用户的操作效率。
CCE AI套件（Ascend NPU） 插件介绍 CCE AI套件（Ascend NPU）是支持容器里使用NPU设备的管理插件。 安装本插件后，可创建“AI加速型”节点，实现快速高效地处理推理和图像识别等工作。
图6 输入信息和输出信息 版本记录 表4 Kubeflow插件版本记录 插件版本 支持的集群版本 更新特性 1.1.4 v1.27及以上 CCE Standard/Turbo集群支持使用Kubeflow插件 父主题： AI任务管理
LWS极大简化了AI推理服务（如vLLM、SGLang等）的弹性部署和高效运维。 图1 LWS结构图 每个LWS副本（Replica）对应一个独立对外服务的AI推理实例（Serve实例）。
父主题： AI数据加速
name: gcs - containerPort: 8265 name: dashboard - containerPort: 10001 name: client
初始延迟之前的就绪态的状态值默认为 Failure。 如果容器不提供就绪态探针，则默认状态为 Success。 启动探针 参数名 取值范围 默认值 是否允许修改 作用范围 StartupProbe 无 无 允许 - 指示容器中的应用是否已经启动。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
