检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/usr/local/nvidia/bin && ./nvidia-smi 登录CCE控制台,单击集群名称进入集群,在左侧选择“配置中心”。 切换至“异构资源配置”页签,在“节点池自定义驱动”下方选择需要更新驱动的节点池及驱动,或者选择填写自定义驱动链接。 本文档中更新后的驱动为535.54.03。 单击“确认配置”。
检查集群升级后,新建节点是否能新建Pod。 检查步骤 基于新建节点检查创建了新节点后,通过创建DaemonSet类型工作负载,在每个节点上创建Pod。 登录CCE控制台,单击集群名称进入集群。 在导航栏中选择“工作负载”,单击右上角“创建工作负载”或“YAML创建”。创建DaemonSet的操
通过huawei.com/ascend-310指定申请NPU的数量。 使用huawei.com/ascend-310参数指定NPU数量时,requests和limits值需要保持一致。 指定huawei.com/ascend-310后,在调度时不会将负载调度到没有NPU的节点。如果缺乏NPU资源,会报类似“0/2
业务稳定的前提下,可以完全由用户自己定义使用的GPU量,提高GPU利用率。详情请参见GPU虚拟化概述。 集群默认驱动:集群中GPU节点默认使用的GPU驱动版本。如果选择“自定义驱动链接地址”,则需填写Nvidia驱动的下载链接,详情请参见获取驱动链接-公网地址。 节点池配置:若您
是否可以直接连接CCE集群的控制节点? CCE支持使用Kubectl工具连接集群,具体请参见通过Kubectl连接集群。 CCE不支持登录控制节点执行相关操作。 父主题: 集群运行
PVC。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。 操作步骤 请参见通过kubectl连接集群,使用kubectl连接集群。 执行如下命令,配置名为“pvc-sfs-auto-example.yaml”的创建PVC的yaml文件。 touch
检查节点是否需要迁移。 解决方案 该问题由于节点拉包组件异常或节点由比较老的版本升级而来,导致节点上缺少关键的系统组件导致。 解决方案一 请登录CCE控制台,单击集群名称进入集群控制台,前往“节点管理”页面,单击对应节点的“更多 > 重置节点”,详情请参见重置节点。节点重置完毕后,重试检查任务。
检查到集群中存在未完成的排水任务,此时升级可能会导致升级完成后触发排水动作,将运行中的Pod进行驱逐。 解决方案 配置Kubectl命令,具体请参见通过kubectl连接集群。 查看是否存在排水任务,以下为正常回显: kubectl get drainage 图1 排水任务,以下回显表示存在排水任务 请将d
首次安装kube-prometheus-stack插件时,prometheus实例会延迟绑定云硬盘类型的存储卷(PVC名为pvc-prometheus-server-0),创建该云硬盘时可用区会自动与实例运行的节点所在可用区保持一致。例如实例运行的节点可用区为可用区1,则该云硬盘的可用区也为可用区1。
autocreate 结构体json 无 允许 CCE Standard/CCE Turbo 自动创建负载均衡器场景必填参数,根据所需填写。 负载均衡器和集群必须在一个VPC内 父主题: 服务
autocreate 结构体json 无 允许 CCE Standard/CCE Turbo 自动创建负载均衡器场景必填参数,根据所需填写。 负载均衡器和集群必须在一个VPC内 父主题: 路由
模板管理 上传模板 获取模板列表 获取模板实例列表 更新模板 创建模板实例 删除模板 更新指定模板实例 获取模板 删除指定模板实例 下载模板 获取指定模板实例 获取模板Values 查询指定模板实例历史记录 获取用户模板配额 父主题: API
置管理异常。 nodepool id(master)表示集群配置管理异常。 问题场景一:节点池配置管理异常 修复节点池异常配置步骤如下: 登录CCE控制台,进入“节点管理”。 找到问题节点池,单击“更多”并选择“配置管理”。 选择“网络组件配置(eni)”,修改节点池级别的节点预热容器网卡回收阈值
目标版本的GPU插件,并配置当前GPU驱动后,测试创建节点是否正常使用。 您可以执行以下步骤确认GPU插件的升级目标版本与当前驱动配置。 登录CCE控制台,前往“插件中心”处查看CCE AI套件(NVIDIA GPU)插件。 单击该插件的“升级”按钮,查看插件目标版本及驱动版本。
检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改,被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。 kubectl get ds nvidia-driver-installer -nkube-system -oyaml
如何避免非GPU/NPU负载调度到GPU/NPU节点? 问题现象 当集群中存在GPU/NPU节点和普通节点混合使用的场景时,普通工作负载也可以调度到GPU/NPU节点上,可能出现GPU/NPU资源未充分利用的情况。 问题原因 由于GPU/NPU节点同样提供CPU、内存资源,在一般
工作负载异常:实例无法写入数据 Pod事件 Pod所在的节点文件系统损坏,新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据,Pod通常会出现以下类似事件: Message: Pod Update Plugin resources
设置资源配额及限制 Kubernetes在一个物理集群上提供了多个虚拟集群,这些虚拟集群被称为命名空间。命名空间可用于多种工作用途,满足多用户、多环境、多应用的使用需求,通过为每个命名空间配置包括CPU、内存、Pod数量等资源的额度可以有效限制资源滥用,从而保证集群的可靠性,更多信息请参见资源配额。
CCE是否支持余额不足提醒? 用户可在费用中心总览页面“可用额度”区域单击“设置”,设置“可用额度预警”后的开关,即可开通或关闭可用额度预警功能。单击“修改”,可以对预警阈值进行修改。 开通后,当可用额度(含现金余额、信用余额、通用代金券、现金券)的总金额低于预警阈值时, 会每天给联系人发送短信和邮件提醒,最多连续提醒3天。
意内核参数。这将导致任何有权在使用CRI-O的Kubernetes集群上部署Pod的用户都可以滥用kernel.core_pattern内核参数,在集群中的任何节点上以root身份实现容器逃逸和执行任意代码。 该问题已被收录为CVE-2022-0811。 表1 漏洞信息 漏洞类型