检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型的使用流程如图2所示: 图2 Docker容器典型使用流程 首先开发者在开发环境机器上开发应用并制作镜像。 Docker执行命令,构建镜像并存储在机器上。 开发者发送上传镜像命令。 Docker收到命令后,将本地镜像上传到镜像仓库。 开发者向生产环境机器发送运行镜像命令。
通过特权容器功能优化内核参数 前提条件 从客户端机器访问Kubernetes集群,需要使用Kubernetes命令行工具kubectl,请先连接kubectl。详情请参见通过kubectl连接集群。
作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失,其中包括gang-schedule的调度能力、计算任务队列管理、task-topology和GPU亲和性调度。
通过Core Dump文件定位容器问题 应用场景 Core Dump是Linux操作系统在程序突然异常终止或者崩溃时将当时的内存状态记录下来,保存在一个文件中。通过Core Dump文件可以分析查找问题原因。 容器一般将业务应用程序作为容器主程序,程序崩溃后容器直接退出,且被回收销毁
例如,账号B是外部数据处理商,需要访问账户A的原始数据进行大数据分析和机器学习等操作。 通过跨账户挂载对象存储,您可以实现数据共享,降低存储和传输成本,同时确保数据的安全性和一致性。
使用HPA+CA实现工作负载和节点联动弹性伸缩 应用场景 企业应用的流量大小不是每时每刻都一样,有高峰,有低谷,如果每时每刻都要保持能够扛住高峰流量的机器数目,那么成本会很高。通常解决这个问题的办法就是根据流量大小或资源占用率自动调节机器的数量,也就是弹性伸缩。
使用HPA+CA实现工作负载和节点联动弹性伸缩 应用场景 企业应用的流量大小不是每时每刻都一样,有高峰,有低谷,如果每时每刻都要保持能够扛住高峰流量的机器数目,那么成本会很高。通常解决这个问题的办法就是根据流量大小或资源占用率自动调节机器的数量,也就是弹性伸缩。
通常,满足各项要求的节点并非唯一,且水位(节点已有负载)各不相同,不同的分配方式最终得到的分配率存在差异,因此,调度器的一项核心任务就是以最终资源利用率最优的目标从众多候选机器中挑出最合适的节点。
Volcano调度器 插件介绍 Volcano 是一个基于 Kubernetes 的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要的而 Kubernetes 当下缺失的一系列特性。
通过ICAgent采集容器日志(不推荐) CCE配合AOM收集工作负载的日志,在创建节点时会默认安装AOM的ICAgent(在集群kube-system命名空间下名为icagent的DaemonSet),ICAgent负责收集工作负载的日志并上报到AOM,您可以在CCE控制台和AOM
Volcano调度器 插件简介 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。
cat /sys/fs/cgroup/cpuset/kubepods/pod{pod uid}/{容器id}/cpuset.cpus {pod uid}为Pod UID,可在已通过kubectl连接集群的机器上使用以下命令获取: kubectl get po {pod name}
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。
使用Kubectl命令操作集群 kubectl kubectl是Kubernetes集群的命令行工具,您可以将kubectl安装在任意一台机器上,通过kubectl命令操作Kubernetes集群。 CCE集群的kubectl安装请参见通过kubectl连接集群。
线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分配内存128M,在压测场景下,损耗非常大,最终导致请求失败。
从而不会再出现“这段代码在我机器上没问题”这类问题。 更轻松地迁移、维护和扩展。 容器确保了执行环境的一致性,使得应用迁移更加容易。同时使用的存储及镜像技术,使应用重复部分的复用更为容易,基于基础镜像进一步扩展镜像也变得非常简单。
(用户机器须保证能访问集群apiserver地址),在该机器上执行步骤8使用kubectl时kubeconfig参数须指定为配置文件所在路径。
Volcano Job更加适用于机器学习、大数据、科学计算等高性能计算场景。
安装Docker、构建镜像建议使用root用户进行操作,请提前获取待安装docker机器的root用户密码。 以root用户登录待安装Docker的机器。
购买Standard/Turbo集群 您可以通过云容器引擎控制台非常方便快速地创建Kubernetes集群。创建完成后,集群控制节点将由云容器引擎服务托管,您只需创建工作节点,帮助您降低集群运维成本,可实现简单高效的业务部署。 注意事项 集群一旦创建以后,不支持变更以下项: 变更集群类型