检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU节点驱动版本 选择GPU节点驱动版本 CCE推荐的GPU驱动版本列表 手动更新GPU节点驱动版本 通过节点池升级节点的GPU驱动版本 父主题: GPU调度
Toolkit和驱动的版本兼容性列表。您可以根据应用所使用的CUDA Toolkit版本,选择合适的NVIDIA驱动版本。 在选择Nvidia驱动时,建议您在满足下表中CUDA版本和驱动版本配套关系的前提下,优先选择CCE推荐的GPU驱动版本列表中提供的GPU驱动版本。若CCE推荐的驱动版本无法匹配您使用的CUDA
通过kubectl连接集群时,其配置文件config如何下载? 登录CCE控制台,单击需要连接的集群名称,进入“集群信息”页面。 在“连接信息”版块中查看kubectl的连接方式。 在弹出的窗口中可以下载kubectl配置文件kubeconfig.json。 图1 下载kubeconfig.json 父主题:
#再次确认是否有程序正在使用GPU卡设备 节点安装指定NVIDIA驱动版本。 从NVIDIA官方网站中下载指定的驱动版本,如何选择GPU节点驱动版本请参见选择GPU节点驱动版本。 记录当前版本驱动状态。根据CCE AI套件(NVIDIA GPU)插件版本差异,查询驱动的命令如下: 1.x.x版本执行: /o
CCE推荐的GPU驱动版本列表 对于CCE集群,各系统推荐使用驱动版本如下表,若使用非CCE推荐驱动版本,需要您自行验证机型、系统及驱动版本间的配套兼容性。您可以根据您的应用所使用的CUDA Toolkit版本,对照CUDA Toolkit与NVIDIA驱动的版本兼容性列表,选择合适的NVIDIA驱动版本。
通过节点池升级节点的GPU驱动版本 如果您使用的CUDA库无法与当前的NVIDIA驱动版本匹配,您需要升级节点的驱动版本才可以正常使用GPU节点。建议您以节点池为粒度进行节点NVIDIA驱动版本的管理,创建应用时可调度到指定驱动版本的节点池,在升级驱动时,也可以根据节点池分批次控制升级。
确认节点标签是否已经打上nvidia资源。 查看nvidia驱动运行是否正常。 到插件运行所在的节点上,查看驱动的安装日志,路径如下所示: /opt/cloud/cce/nvidia/nvidia_installer.log 查看nvidia容器标准输出日志: 过滤容器id docker ps –a
如果节点驱动版本为450系列,请升级驱动至450.102.04版本。 如果节点驱动版本为460系列,请升级驱动至460.32.03版本。 如果您升级CCE集群节点的GPU驱动,可以升级gpu-beta插件或重装插件,并在安装插件时填写修复后的NVIDIA GPU驱动的下载地址即可。
Ubuntu内核与GPU驱动兼容性提醒 检查项内容 检查到集群中同时使用GPU插件和Ubuntu节点,提醒客户存在可能的兼容性问题。当Ubuntu内核版本在5.15.0-113-generic上时,GPU插件必须使用535.161.08及以上的驱动版本。 解决方案 您在升级后新创
同步云服务器 操作场景 集群中的每一个节点对应一台云服务器,集群节点创建成功后,您仍可以根据需求,修改云服务器的名称或变更规格。由于规格变更对业务有影响,建议一台成功完成后再对下一台进行规格变更。 CCE节点的部分信息是独立于弹性云服务器ECS维护的,当您在ECS控制台修改云服务
64-bit。 图2 参数选择 驱动信息确认完毕,单击“Find”按钮,会跳转到驱动信息展示页面,找到需要下载的驱动,单击“view”跳转到下载页面。 图3 驱动信息 鼠标右键单击“Download”按钮,复制下载链接。 图4 获取链接 获取驱动链接-OBS地址 将驱动上传到对象存储服务OB
修改云服务器的企业项目 云服务器组不一致 将云服务器的云服务器组修改成与节点池的云服务器组一致。 修改云服务器的云服务器组 修改云服务器的规格 待纳管云服务器规格需修改成节点池中包含的规格。 更多操作指导请参见ECS变更规格通用操作。 登录ECS控制台。 单击目标云服务器名称,
PU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置,需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件,并配置当前GPU驱动后,测试创建节点是否正常使用。 您可以执行以下步骤确认GPU插件的升级目标版本与当前驱动配置。 登录CCE控制台,前往“插件中心”处查看CCE
创建GPU类型节点,具体请参见创建节点。 集群中需要安装GPU插件,且安装时注意要选择节点上GPU型号对应的驱动,具体请参见CCE AI套件(NVIDIA GPU)。 在v1.27及以下的集群中使用默认GPU调度能力时,GPU插件会把驱动的目录挂载到/usr/local/nvidia/lib64,在容器中使用GP
节点时钟同步服务器检查异常处理 检查项内容 检查节点时钟同步服务器ntpd或chronyd是否运行正常。 解决方案 问题场景一:ntpd运行异常 请登录该节点,执行systemctl status ntpd命令查询ntpd服务运行状态。若回显状态异常,请执行systemctl restart
或gpu-device-plugin),单击“安装”。 在安装插件页面,设置插件关键参数。 Nvidia驱动:填写Nvidia驱动的下载链接,请根据GPU节点的显卡型号选择驱动。 其余参数可保持默认,详情请参见gpu-beta(gpu-device-plugin)。 单击“安装”,安装插件的任务即可提交成功。
您的业务造成更大的影响,系统会对受影响的ECS实例生成云服务器事件并进行上报,例如实例重部署、系统维护等。 您可以在弹性云服务器ECS控制台管理云服务器事件,详情请参考弹性云服务器事件概述。 使用场景 云服务器事件处理过程中可能出现云服务器不可用等现象,影响对应Node节点和Po
购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取tensorflow的ML范例,加以简单的修改。 basicClass
负载均衡器配置:后端云服务器组 后端云服务器组的负载均衡算法 服务对接的后端实例会在一个后端云服务器组中,此参数支持配置后端云服务器组的负载均衡算法。 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.lb-algorithm
负载均衡器配置:后端服务器(组)配置 会话保持模式 监听器的会话保持类型 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.session-affinity-mode HTTP_COOKIE、APP_COOKIE