检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Tensorflow训练 Kubeflow部署成功后，使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例，您可参考TensorFlow Training (TFJob)获取更详细的信息。
人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernetes提供的资源管理、应用编排、运维监控能力。 Kubernetes存在的问题 Kubeflow在调度环境使用的是Kubernetes的默认调度器。
AI任务性能增强调度 公平调度（DRF） 组调度（Gang） 父主题： Volcano调度
组调度（Gang） 组调度（Gang）满足了调度过程中“All or nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费，主要应用于AI、大数据等多任务协作场景。启用该能力后，可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题，大幅度提升整体训练性能。
CCE AI套件（Ascend NPU） 插件介绍 CCE AI套件（Ascend NPU）是支持容器里使用NPU设备的管理插件。 安装本插件后，可创建“AI加速型”节点，实现快速高效地处理推理和图像识别等工作。
约束与限制 集群中使用“AI加速型”节点时必须安装CCE AI套件（Ascend NPU）插件。
CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。
CCE AI套件（NVIDIA GPU） 插件简介 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 约束与限制 下载的驱动必须是后缀为“.run”的文件。
对于一个AI算法工程师来讲，如果要做模型训练，就不得不搭建一套AI计算平台，这个过程耗时费力，而且需要很多的知识积累。
启用该能力后，可使用使用NPU资源运行AI训练作业，调度器提供NPU拓扑感知调度能力，提高训练作业执行效率。 父主题： 配置中心
CCE AI套件（Ascend NPU）版本发布记录 表1 CCE AI套件（Ascend NPU）插件版本记录 插件版本 支持的集群版本 更新特性 2.1.23 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 修复部分问题 2.1.22 v1.21
公平调度（DRF） DRF（Dominant Resource Fairness）是主资源公平调度策略，应用于大批量提交AI训练和大数据作业的场景，可增强集群业务的吞吐量，整体缩短业务执行时间，提高训练性能。
CCE AI套件（NVIDIA GPU）版本发布记录 表1 CCE AI套件（NVIDIA GPU）版本记录 插件版本 支持的集群版本 更新特性 2.7.19 v1.28 v1.29 v1.30 修复nvidia-container-toolkit CVE-2024-0132容器逃逸漏洞
弹性伸缩在CCE上的使用场景非常广泛，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 CCE弹性伸缩 CCE的弹性伸缩能力分为如下两个维度： 工作负载弹性伸缩：即调度层弹性，主要是负责修改负载的调度容量变化。
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题： 批量计算
初始延迟之前的就绪态的状态值默认为 Failure。 如果容器不提供就绪态探针，则默认状态为 Success。 启动探针 参数名 取值范围 默认值 是否允许修改 作用范围 StartupProbe 无 无 允许 - 指示容器中的应用是否已经启动。
公平调度（DRF） DRF（Dominant Resource Fairness）是主资源公平调度策略，应用于大批量提交AI训练和大数据作业的场景，可增强集群业务的吞吐量，整体缩短业务执行时间，提高训练性能。详情请参见公平调度（DRF）。
Containerd Pod重启风险检查异常处理 检查项内容 检查当前集群内使用containerd的节点在升级containerd组件时，节点上运行的业务容器是否可能发生重启，造成业务影响。
相关链接 containerd-shim API exposed to host network containers 父主题： 漏洞公告
执行stat /run/containerd/containerd.sock命令，若发现存在该文件则会导致docker启动失败。 执行rm -rf /run/containerd/containerd.sock命令，然后重新进行集群升级检查。 父主题： 升级前检查异常问题排查
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
