检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1
应用程序完成后,执行程序的Pod将终止并清理,但驱动程序Pod仍然存在并保持在“已停止”状态,直到最终进行垃圾回收或手动清理。在“已停止”状态下,驱动程序Pod不会使用任何计算或内存资源。 图1 提交机制的工作原理 在CCE上运行SparkPi例子 在执行Spark的机器上安装kubectl,详情请参见通过kubectl连接集群。
Volcano批量调度系统:加速AI计算的利器 Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失,其中包括gang
用户。本文将介绍云容器引擎中购买按需计费资源的计费规则。 适用场景 按需计费适用于短期突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 使用云容器引擎CCE时,表1中的计费项支持从CCE控制台选择计费模式(包年/包月或按需计费)。CCE相关的其他云服务资
发布概述 应用现状 应用程序升级面临最大挑战是新旧业务切换,将软件从测试的最后阶段带到生产环境,同时要保证系统不间断提供服务。如果直接将某版本上线发布给全部用户,一旦遇到线上事故(或BUG),对用户的影响极大,解决问题周期较长,甚至有时不得不回滚到前一版本,严重影响了用户体验。 解决方案
有如下优点: 平衡在线业务与离线业务对出口网络带宽的使用,保证在线业务有足够的网络带宽,在线业务触发阈值时,压缩离线业务带宽使用。 在线业务所占用的网络资源较少时,离线业务可使用更多带宽;在线业务所占用的网络资源较多时,降低离线业务资源占用量,从而优先保障在线业务的网络带宽。 约束与限制
nSet的操作步骤详情请参见创建守护进程集(DaemonSet)。 图1 创建守护进程集 建议您使用日常测试的镜像作为基础镜像。您可参照如下YAML部署最小应用Pod。 该测试YAML将DaemonSet部署在default命名空间下,使用ngxin:perl为基础镜像,申请10m
复用等机制减少集群资源的空闲比例。 价值 面向AI计算的容器服务,采用高性能GPU计算实例,并支持多容器共享GPU资源,在AI计算性能上比通用方案提升3~5倍以上,并大幅降低了AI计算的成本,同时帮助数据工程师在集群上轻松部署计算应用,您无需关心复杂的部署运维,专注核心业务,快速实现从0到1快速上线。
GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置,需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件,并配置当前GPU驱动后,测试创建节点是否正常使用。 您可以执行以下步骤确认GPU插件的升级目标版本与当前驱动配置。 登录CCE控制台,前往“插件中心”处查看CCE
节点,离线作业优先调度到超卖节点。 在线作业预选超卖节点时只能使用其非超卖资源 在线作业只能使用超卖节点的非超卖资源,离线作业可以使用超卖节点的超卖及非超卖资源。 同一调度周期在线作业先于离线作业调度 在线作业和离线作业同时存在时,优先调度在线作业。当节点资源使用率超过设定的驱逐
功能,主要特性包括: 丰富的计算框架支持:通过CRD提供了批量计算任务的通用API,通过提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上。 高级调度:面向批量计算、高性能计算场景提供丰富的高级调度能力,
CCE是否支持账户余额变动提醒? 系统会以邮件、短信形式给客户发送账户余额变动通知,包括账户余额调整、充值到账、客户在线充值等。 父主题: 计费类
特性,实现业务对集群资源的充分利用;从节点维度来看,混部是将多个容器部署在同一个节点上,这些容器内的应用既包括在线类型,也包括离线类型。根据应用对资源质量需求的差异,在线应用可以归纳为延时敏感型LS(Latency Sensitive),通常对请求压力(QPS)或访问延迟(RT)
Jenkins界面中的词条可能因版本不同而存在一些差异,例如中英文不同等,本文中的截图仅供您参考。 镜像选择 在DockerHub上选择1个相对较新的稳定镜像,本次搭建测试用的Jenkins使用的镜像为jenkinsci/blueocean,该镜像捆绑了所有Blue Ocean插件和功能,不需要再单独安装Blue
(Traffic Mirror),将访问请求复制一份路由到镜像后端,但会忽略镜像后端的返回值,因此不会对原有请求造成影响,可用于系统的仿真测试和问题定位。本文介绍如何使用Nginx Ingress进行不同集群应用间的流量镜像。 图1 流量镜像 准备工作 已创建2个CCE Stan
在CCE中安装部署Jenkins方案概述 Jenkins是什么 Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具,起源于Hudson,主要用于持续、自动的构建/测试软件项目、监控外部任务的运行。 Jenkins用Java语言编写,可在Tomcat等流行的servlet容器中运行,也可独立运行。通常与版
Jenkins则负责进行容器应用的构建和部署。并且为了保证生产环境和测试环境互不影响,该方案使用了两个独立的Kubernetes集群进行高度隔离,分别用于测试环境和生产环境。 以下是从源码编译、镜像构建、应用测试到生产上线的全流程示例: 首先在Gitlab中创建一个新的Git仓库,并将其与Jenkins进行关联。
Turbo 集群显示名,用于在 CCE 界面显示,该名称创建后可修改 配置建议: 按照集群资源归属(如一般集群还是GPU集群)、应用场景(测试集群还是生产集群)等维度命名,方便区分和管理 计费模式 包年包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。
级高的业务SLO。 资源分级管控为业务潮汐明显的在线业务间混部、在线和离线业务混部奠定了基础。解决了应用预留资源较多、资源无法分时复用的问题。 在线作业与离线作业 从业务是否一直在线的角度看,其类型可分为在线作业和离线作业。 在线作业:一般运行时间长,服务流量呈周期性,资源存在潮
的,不然会出现无效的情况。 解决方法 一般情况下,您需要从证书提供商处获取有效的合法证书。如果您需要在测试环境下使用,您可以自建证书和私钥,方法如下: 自建的证书通常只适用于测试场景,使用时界面会提示证书不合法,影响正常访问,建议您选择手动上传合法证书,以便通过浏览器校验,保证连接的安全性。