检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kubeflow和Volcano实现典型AI训练任务 Kubernetes已经成为云原生应用编排、管理的事实标准， 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernete
Tensorflow训练 Kubeflow部署成功后，使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例，您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST示例
基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程，它需要处理很多个环节。如图1所示，除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个AI算法工程师来讲，如果要做模型训练，就不得不搭建一套AI计算平台，这个过程耗时费力，而且需要很多的知识积累。
组调度（Gang）满足了调度过程中“All or nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费，主要应用于AI、大数据等多任务协作场景。启用该能力后，可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题，大幅度提升整体训练性能。 前提条件 已创建v1.19及以上版本的集群，详
公平调度（DRF） DRF（Dominant Resource Fairness）是主资源公平调度策略，应用于大批量提交AI训练和大数据作业的场景，可增强集群业务的吞吐量，整体缩短业务执行时间，提高训练性能。 前提条件 已创建v1.19及以上版本的集群，详情请参见购买Standard/Turbo集群。
CCE AI套件（Ascend NPU） 插件简介 CCE AI套件（Ascend NPU）是支持容器里使用huawei NPU设备的管理插件。 安装本插件后，可创建“AI加速型”节点，实现快速高效地处理推理和图像识别等工作。 约束与限制 集群中使用“AI加速型”节点时必须安装CCE
Container配置 容器名称 参数名 取值范围 默认值 是否允许修改 作用范围 name 无 无 允许 - 镜像名称 参数名 取值范围 默认值 是否允许修改 作用范围 image 无 无 允许 - 更新策略 参数名 取值范围 默认值 是否允许修改 作用范围 imagePullPolicy
container_path 否 String 容器里用于挂载Hiai library的路径 默认值："/usr/local/HiAI_unused" host_path 否 String 主机上包含Hiai library的路径 默认值："/usr/local/HiAI_unused"
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 字段说明 表1 参数描述 参数 是否必选 参数类型 描述 basic 是 object 插件基础配置参数。
CCE AI套件（NVIDIA GPU） 插件简介 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 约束与限制 下载的驱动必须是后缀为“.run”的文件。 仅支持Nvidia Tesla驱动，不支持GRID驱动。
AI任务性能增强调度 公平调度（DRF） 组调度（Gang） 父主题： Volcano调度
Containerd Pod重启风险检查异常处理 检查项内容 检查当前集群内使用containerd的节点在升级containerd组件时，节点上运行的业务容器是否可能发生重启，造成业务影响。 解决方案 检测到您的节点上的containerd服务存在重启风险；请确保在业务影响可控
CCE AI套件（NVIDIA GPU）版本发布记录 表1 CCE AI套件（NVIDIA GPU）版本记录 插件版本 支持的集群版本 更新特性 2.7.19 v1.28 v1.29 v1.30 修复nvidia-container-toolkit CVE-2024-0132容器逃逸漏洞
能力。 Volcano是基于Kubernetes的批处理系统。Volcano提供了一个针对BigData和AI场景下，通用、可扩展、高性能、稳定的原生批量计算平台，方便AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等能力。
CCE AI套件（Ascend NPU）版本发布记录 表1 CCE AI套件（Ascend NPU）插件版本记录 插件版本 支持的集群版本 更新特性 2.1.23 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 修复部分问题 2.1.22 v1
Euler-docker。 执行stat /run/containerd/containerd.sock命令，若发现存在该文件则会导致docker启动失败。 执行rm -rf /run/containerd/containerd.sock命令，然后重新进行集群升级检查。 父主题：
Apache containerd安全漏洞公告（CVE-2020-15257） 漏洞详情 CVE-2020-15257是containerd官方发布的一处Docker容器逃逸漏洞。containerd是一个支持Docker和常见Kubernetes配置的容器运行时管理组件，它处理
表示按照Job的minAvailable进行抢占。 false：表示按照Job的replicas进行抢占。 说明： Kubernetes原生工作负载（如Deployment）的minAvailable默认值为1，建议配置enableJobStarving: false。 AI大数据场景，创建
4.1-98版本的containerd作为kuberentes CRI运行时。 2. CCE集群containerd版本低于1.5.11以下的集群。 判断方法 在node节点上使用root用户执行containerd --version查看containerd版本。 新Conso
0，则不涉及该漏洞。 CCE AI套件（NVIDIA GPU）插件老版本命名为：gpu-beta、gpu-device-plugin。 如果CCE AI套件（NVIDIA GPU）插件版本大于等于2.0.0，请登录GPU节点执行以下命令： nvidia-container-runtime
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
