如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
AI服务部署 AI推理框架插件 AI推理网关插件 LeaderWorkerSet插件 kagent插件 父主题： 云原生AI
AI任务管理 Kubeflow插件 Kuberay 父主题： 云原生AI
云原生AI插件 CCE AI套件（NVIDIA GPU） CCE AI套件（Ascend NPU） 父主题： 插件
AI数据加速 Fluid数据加速引擎概述 AI数据加速引擎插件 父主题： 云原生AI
container_path 否 String 容器里用于挂载Hiai library的路径 默认值："/usr/local/HiAI_unused" host_path 否 String 主机上包含Hiai library的路径 默认值："/usr/local/HiAI_unused"
CCE AI套件（Ascend NPU） 插件简介 CCE AI套件（Ascend NPU）是支持容器里使用huawei NPU设备的管理插件。 安装本插件后，可创建“AI加速型”节点，实现快速高效地处理推理和图像识别等工作。 约束与限制 集群中使用“AI加速型”节点时必须安装CCE
AI负载调度 本文主要介绍Volcano调度器在AI负载调度方面的关键功能，包括弹性调度、任务调度、异构资源调度和任务队列调度。Volcano调度器提供高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，旨在提升AI负载的调度效率和运行性能。 弹性调度 Vo
persistentVolumeClaim: claimName: ${pvc_name} size: 1 workerTemplate: spec: containers: [] 模型部署 AI推理框架插件提供一套完整的AI模型部署方
Container Runtime等不兼容，继而导致驱动安装失败或者CCE AI套件（NVIDIA GPU）插件异常。对于使用自定义GPU驱动的场景，请您自行验证。 安装插件 登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到CCE AI套件（NVIDIA
AI数据加速引擎插件 在处理AI和大数据任务时，Kubernetes面临计算存储分离导致的高延迟和带宽浪费、数据管理不足、存储接口碎片化，以及缺乏智能数据感知与调度等核心挑战。为此，CCE Standard/Turbo集群基于Fluid提供AI数据加速引擎插件。该插件提供数据集抽
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 字段说明 表1 参数描述 参数 是否必选 参数类型 描述 basic 是 object 插件基础配置参数。
云原生AI套件概述 云原生AI套件以华为云CCE服务为基础，为您提供开箱即用的AI训练与推理全流程的解决方案，涵盖AI资源管理、AI负载调度、AI任务管理、AI数据加速及AI服务部署等服务，提供端到端的全栈支持与优化。 图1 云原生AI套件架构图 AI资源管理 CCE AI套件（NVIDIA
AI推理网关插件 随着大规模语言模型（LLM）及人工智能（AI）推理服务的迅猛发展，云原生AI团队面临着愈加复杂的推理流量治理难题。在AI推理应用场景中，除了传统的基于HTTP路径和协议的流量路由外，还需根据“模型名称”、“推理优先级”以及“模型版本”等AI业务属性，灵活地进行流
云原生AI 云原生AI套件概述 AI负载调度 AI任务管理 AI数据加速 AI服务部署
executors: # 配置执行器 exec-comp: container: # 容器配置，表示CCE集群中Pod执行的具体任务 image: python:3.9 # 使用python 3.9镜像 command:
Fluid数据加速引擎概述 Fluid是云原生领域的一款分布式数据集编排与加速引擎，专为大数据和AI应用设计。它旨在通过透明的数据管理和优化调度，帮助AI和大数据应用高效利用任何存储的数据，而无需修改现有应用。Fluid支持自动化的数据调度、缓存加速和弹性扩展，提升数据访问效率，
agent能力，提供开箱即用的kagent插件，支持一键部署生产级AI运维代理框架，实现智能化的集群管理体验。 基本概念 表1 插件基本概念 概念 定义 作用 代理（Agent） AI Agent是一种基于人工智能的应用程序，能够以自然语言与用户交互，并代表用户执行任务。 自然语
ReadinessProbe 无 无 允许 - 指示容器是否准备好为请求提供服务。如果就绪态探测失败， 端点控制器将从与 Pod 匹配的所有服务的端点列表中删除该 Pod 的 IP 地址。 初始延迟之前的就绪态的状态值默认为 Failure。 如果容器不提供就绪态探针，则默认状态为 Success。
- containerPort: 6379 name: gcs - containerPort: 8265 name: dashboard - containerPort: 10001
用于标识Pod角色 spec: containers: - name: vllm-leader image: vllm/vllm-openai:latest # 使用官方vLLM镜像
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
