检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
260INT4 TOPS 机器学习、深度学习、训练推理、科学计算、地震分析、计算金融学、渲染、多媒体编解码。 CCE Standard集群 推理加速型 Pi1 NVIDIA P4(GPU直通) 2560 5.5TFLOPS 单精度浮点计算 机器学习、深度学习、训练推理、科学计算、地震分析、计算金融学、渲染、多媒体编解码。
为工作负载提供NPU资源。 NPU调度 Volcano调度 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。
Jenkins界面中的词条可能因版本不同而存在一些差异,例如中英文不同等,本文中的截图仅供您参考。 镜像选择 在DockerHub上选择1个相对较新的稳定镜像,本次搭建测试用的Jenkins使用的镜像为jenkinsci/blueocean,该镜像捆绑了所有Blue Ocean插件和功能,不需要再单独安装Blue
(Traffic Mirror),将访问请求复制一份路由到镜像后端,但会忽略镜像后端的返回值,因此不会对原有请求造成影响,可用于系统的仿真测试和问题定位。本文介绍如何使用Nginx Ingress进行不同集群应用间的流量镜像。 图1 流量镜像 准备工作 已创建2个CCE Stan
在CCE中安装部署Jenkins方案概述 Jenkins是什么 Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具,起源于Hudson,主要用于持续、自动的构建/测试软件项目、监控外部任务的运行。 Jenkins用Java语言编写,可在Tomcat等流行的servlet容器中运行,也可独立运行。通常与版
的,不然会出现无效的情况。 解决方法 一般情况下,您需要从证书提供商处获取有效的合法证书。如果您需要在测试环境下使用,您可以自建证书和私钥,方法如下: 自建的证书通常只适用于测试场景,使用时界面会提示证书不合法,影响正常访问,建议您选择手动上传合法证书,以便通过浏览器校验,保证连接的安全性。
Jenkins则负责进行容器应用的构建和部署。并且为了保证生产环境和测试环境互不影响,该方案使用了两个独立的Kubernetes集群进行高度隔离,分别用于测试环境和生产环境。 以下是从源码编译、镜像构建、应用测试到生产上线的全流程示例: 首先在Gitlab中创建一个新的Git仓库,并将其与Jenkins进行关联。
灵活的用户。本文将介绍云容器引擎中购买按需计费资源的计费规则。 适用场景 按需计费适用于短期突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 使用云容器引擎CCE时,表1中的计费项支持从CCE控制台选择计费模式(包年/包月或按需计费)。CCE相关的其他云
Turbo 集群显示名,用于在 CCE 界面显示,该名称创建后可修改 配置建议: 按照集群资源归属(如一般集群还是GPU集群)、应用场景(测试集群还是生产集群)等维度命名,方便区分和管理 计费模式 包年包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。
使用Prometheus监控多个集群 应用场景 通常情况下,用户的集群数量不止一个,例如生产集群、测试集群、开发集群等。如果在每个集群安装Prometheus监控集群里的业务各项指标的话,很大程度上提高了维护成本和资源成本,同时数据也不方便汇聚到一块查看,这时候可以通过部署一套P
修改节点系统参数具有一定的风险,需要您对Linux命令和Linux系统知识具有较高程度的了解,避免误操作引起节点故障。 表1中的参数已经过测试验证,请勿自行修改其他参数以免引起节点故障。 修改节点系统参数的命令仅在使用公共镜像时有效,使用私有镜像时本文中提供的命令仅供参考。 节点重启后需执行sysctl
同一个集群内可创建不同的命名空间,不同命名空间中的数据彼此隔离。使得它们既可以共享同一个集群的服务,也能够互不干扰。 例如可以将开发环境、测试环境的业务分别放在不同的命名空间。 前提条件 至少已创建一个集群。 约束与限制 每个命名空间下,创建的服务数量不能超过6000个。此处的服
组调度(Gang)来提升训练性能,提高资源使用效率。 公平调度(DRF) DRF(Dominant Resource Fairness)是主资源公平调度策略,应用于大批量提交AI训练和大数据作业的场景,可增强集群业务的吞吐量,整体缩短业务执行时间,提高训练性能。详情请参见公平调度(DRF)。
查询工作负载时,选择对应的命名空间,查看对应命名空间下的所有工作负载。 命名空间使用实践 按照不同环境划分命名空间 一般情况下,工作负载发布会经历开发环境、联调环境、测试环境,最后到生产环境的过程。这个过程中不同环境部署的工作负载相同,只是在逻辑上进行了定义。分为两种做法: 分别创建不同集群。 不同集群之间
的版本。 解决方案 问题场景一:节点镜像非CCE标准镜像 CCE节点运行依赖创建时的初始标准内核版本,CCE基于该内核版本做了全面的兼容性测试,非标准的内核版本可能在节点升级中因兼容性问题导致节点升级失败,详情请参见高危操作及解决方案。 当前CCE不建议该类节点进行升级,建议您在升级前重置节点至标准内核版本。
CCE Standard集群、CCE Turbo集群支持 CCE基于Volcano调度器提供多元算力资源调度及任务调度的能力,面向机器学习、深度学习、生物信息学、基因组学及其他大数据应用场景提供完整的应用调度特性。 CCE支持CPU资源调度、GPU/NPU异构资源调度、在离线作业混合部署、CPU
// 发送邮件给测试 mail subject: "【请测试】应用已部署到测试环境,请开始测试", body: """测试通过后, <a href="${BUILD_UR
云原生监控插件兼容自建Prometheus 云原生监控插件兼容模式 若您已自建Prometheus,且您的Prometheus基于开源,未做深度定制、未与您的监控系统深度整合,建议您卸载自建Prometheus并直接使用云原生监控插件对您的集群进行监控,无需开启“兼容模式”。 卸
Service)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。 SFS为用户提供一个完全托管的共享文件存储,能够弹性伸缩至PB规模,具备高可用性和持久性,为海量数据、高
修复ioaware插件在某些极端场景下结果不符合预期的问题 支持混合集群 1.2.3 v1.15 v1.17 v1.19 修复因为精度不够引发的训练任务OOM的问题 修复CCE v1.15以上版本GPU调度的问题,暂不支持任务分发时的CCE版本滚动升级 修复特定场景下队列状态不明的问题