华为云用户手册

容器如何执行命令和参数 Docker的镜像拥有存储镜像信息的相关元数据，如果不设置生命周期命令和参数，容器运行时将运行镜像制作时提供的默认的命令和参数，Docker将这两个字段定义为“Entrypoint”和 "CMD"。 如果在创建工作负载时填写了容器的运行命令和参数，将会覆盖镜像构建时的默认命令 "Entrypoint"、"CMD"，规则如下： 表1 容器如何执行命令和参数 镜像 Entrypoint 镜像CMD 容器运行命令 容器运行参数 最终执行 [touch] [/root/test] 未设置 未设置 [touch /root/test] [touch] [/root/test] [mkdir] 未设置 [mkdir] [touch] [/root/test] 未设置 [/opt/test] [touch /opt/test] [touch] [/root/test] [mkdir] [/opt/test] [mkdir /opt/test]

停止前处理 登录CCE控制台，在创建工作负载配置生命周期过程中，选择“停止前处理”。 在“停止前处理”后，设置停止前处理的参数，如表2。 表3 停止前处理-参数说明 参数 说明 命令行方式 在容器中执行指定的命令，配置为需要执行的命令。命令的格式为Command Args[1] Args[2]…（Command为系统命令或者用户自定义可执行程序，如果未指定路径则在默认路径下寻找可执行程序），如果需要执行多条命令，建议采用将命令写入脚本执行的方式。 如需要执行的命令如下： exec: command: - /uninstall.sh - uninstall_agent 请在执行脚本中填写: /uninstall uninstall_agent。这条命令表示容器结束前将执行uninstall.sh。 HTTP请求方式 发起一个HTTP调用请求。配置参数如下： 路径：请求的URL路径，可选项。 端口：请求的端口，必选项。 主机地址：请求的IP地址，可选项，默认是容器所在的节点IP。

启动后处理 登录CCE控制台，在创建工作负载时，展开“生命周期”。 在“启动后处理”后，设置启动后处理的参数，如表2。 表2 启动后处理-参数说明 参数 说明 命令行方式 在容器中执行指定的命令，配置为需要执行的命令。命令的格式为Command Args[1] Args[2]…（Command为系统命令或者用户自定义可执行程序，如果未指定路径则在默认路径下寻找可执行程序），如果需要执行多条命令，建议采用将命令写入脚本执行的方式。不支持后台执行和异步执行的命令。 如需要执行的命令如下： exec: command: - /install.sh - install_agent 请在执行脚本中填写: /install install_agent。这条命令表示容器创建成功后将执行install.sh。 HTTP请求方式 发起一个HTTP调用请求。配置参数如下： 路径：请求的URL路径，可选项。 端口：请求的端口，必选项。 主机地址：请求的IP地址，可选项，默认是容器所在的节点IP。

容器重启策略 Pod通过restartPolicy字段指定重启策略，重启策略类型为：Always、OnFailure和Never，默认为 Always。 restartPolicy仅指通过同一节点上的kubelet重新启动容器。 重启策略 说明 Always 当容器失效时，由kubelet自动重启该容器。 OnFailure 当容器终止运行且退出码不为0时，由kubelet自动重启该容器。 Never 不论容器运行状态如何，kubelet都不会重启该容器。 可以管理Pod的控制器有ReplicaSet Controller，Job，DaemonSet，及kubelet（静态Pod）。 RS和DaemonSet：必须设置为Always，需要保证该容器持续运行。 Job：OnFailure或Never，确保容器执行完后不再重启。 kubelet：在Pod失效的时候重启它，不论RestartPolicy设置为什么值，并且不会对Pod进行健康检查。

Prometheus监控数据采集说明 Prometheus通过周期性的调用应用程序的监控指标接口（默认为“/metrics”）获取监控数据，应用程序需要提供监控指标接口Prometheus调用，且监控数据需要满足Prometheus的规范，如下所示。 # TYPE nginx_connections_active gaugenginx_connections_active 2# TYPE nginx_connections_reading gaugenginx_connections_reading 0 Prometheus提供了各种语言的客户端，客户端具体请参见Prometheus CLIENT LIBRARIES，开发Exporter具体方法请参见WRITING EXPORTERS。Prometheus社区提供丰富的第三方exporter可以直接使用，具体请参见EXPORTERS AND INTEGRATIONS。

部署应用 如上所述的nginx:exporter提供的监控数据，其数据格式并不满足Prometheus的要求，需要将其转换成Prometheus需要的格式，可以使用nginx-prometheus-exporter来转换Nginx的指标，如下所示。 使用nginx:exporter和nginx-prometheus-exporter部署到同一个Pod，如下所示。 kind: DeploymentapiVersion: apps/v1metadata: name: nginx-exporter namespace: defaultspec: replicas: 1 selector: matchLabels: app: nginx-exporter template: metadata: labels: app: nginx-exporter annotations: metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"prometheus","path":"/metrics","port":"9113","names":""}]' spec: containers: - name: container-0 image: 'swr.cn-south-1.myhuaweicloud.com/dev-container/nginx:exporter' resources: limits: cpu: 250m memory: 512Mi requests: cpu: 250m memory: 512Mi - name: container-1 image: 'nginx/nginx-prometheus-exporter:0.9.0' command: - nginx-prometheus-exporter args: - '-nginx.scrape-uri=http://127.0.0.1:8080/stub_status' imagePullSecrets: - name: default-secret nginx/nginx-prometheus-exporter:0.9.0需要从公网拉取，需要集群节点上有一个公网IP。 nginx-prometheus-exporter需要一个启动命令，nginx-prometheus-exporter -nginx.scrape-uri=http://127.0.0.1:8080/stub_status，用于获取nginx的监控数据。 另外Pod需要添加一个annotations，metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"prometheus","path":"/metrics","port":"9113","names":""}]'，这个annotations与控制台上的配置效果完全一致，其参数的详细解释如表1所示。 表1 参数说明 参数 说明 是否必须设置 上报路径 exporter提供的供CCE获取自定义指标数据的URL。 由字母、数字、斜杠（/）和下划线（_）组成，且必须以“/”开头。例如，/metrics。 是 上报端口 exporter提供的供CCE获取自定义指标数据的端口。 取值范围：1～65535。例如，8080。 是 监控维度 exporter提供的自定义指标名称。 自定义指标名称为由字母、数字和下划线（_）组成的字符串，长度为5～100个字符。输入格式为：["自定义指标名称1","自定义指标名称2"]，多个自定义指标名称请以英文逗号（,）分隔。例如，["cpu_usage","mem_usage"]。 如果不设置，则CCE会获取所有的自定义指标数据。 如果设置，例如，设置为["cpu_usage","mem_usage"]，则CCE会对自定义指标进行过滤，只获取cpu_usage、mem_usage指标数据。 否

安全容器与普通容器 安全容器的概念主要与普通容器进行比较的。 和普通容器相比，它最主要的区别是每个容器（准确地说是pod）都运行在一个单独的微型虚拟机中，拥有独立的操作系统内核，以及虚拟化层的安全隔离。因为云容器引擎CCE的 容器安全 隔离比独立拥有私有Kubernetes集群有更严格的要求。通过安全容器，不同容器之间的内核、计算资源、网络都是隔离开的，保护了Pod的资源和数据不被其他Pod抢占和窃取。 CCE Turbo 集群下单节点支持普通容器和安全容器，您可以根据业务需求选择使用，两者的区别如下： 分类 安全容器 Docker普通容器 Containerd普通容器 容器所在节点类型 裸金属服务器 虚拟机 虚拟机 容器引擎 Containerd Docker 在控制台选择普通容器时默认为Docker Containerd 容器运行时 Kata runC runC 容器内核 独占内核 与宿主机共享内核 与宿主机共享内核 容器隔离方式 轻量虚拟机 Cgroups和Namespace Cgroups和Namespace 容器引擎存储驱动 Device Mapper OverlayFS2 OverlayFS Pod Overhead 内存：100MiB CPU：0.1Core Pod Overhead为安全容器本身资源占用。比如Pod申请的limits.cpu = 0.5Core和limits.memory = 256MiB，那么该Pod最终会申请0.6Core的CPU和356MiB的内存。 无 无 最小规格 内存：256MiB CPU：0.25Core 无 无 容器引擎命令行 crictl docker crictl Pod的计算资源 CPU和内存的request和limit必须一致 CPU和内存的request和limit可以不一致 CPU和内存的request和limit可以不一致 hostnetwork 不支持 支持 支持

节点操作系统与容器引擎对应关系 表6 CCE集群节点操作系统与容器引擎对应关系 操作系统 内核版本 容器引擎 容器存储Rootfs 容器运行时 CentOS 7.x 3.x Docker 1.19及以下版本集群使用Device Mapper 1.21及以上版本集群使用Overlayfs runC EulerOS 2.5 3.x Docker Device Mapper runC EulerOS 2.3 3.x Docker Device Mapper runC EulerOS 2.9 4.x Docker Overlayfs runC Ubuntu 18.04 4.x Docker Overlayfs runC 表7 CCE Turbo集群节点操作系统与容器引擎对应关系 节点类型 操作系统 内核版本 容器引擎 容器存储Rootfs 容器运行时 虚拟机 CentOS 7.6 3.x Docker OverlayFS runC Ubuntu 18.04 4.x EulerOS 2.9 4.x BMS共池裸机 EulerOS 2.9 4.x Containerd Device Mapper Kata 表8 鲲鹏集群节点操作系统与容器引擎对应关系 操作系统 内核版本 容器引擎 容器存储Rootfs 容器运行时 EulerOS 2.8 4.x Docker OverlayFS runC

简介 节点是容器集群组成的基本元素。节点取决于业务，既可以是虚拟机，也可以是物理机。每个节点都包含运行Pod所需要的基本组件，包括Kubelet、Kube-proxy 、Container Runtime等。 CCE创建的Kubernetes集群包含master节点和node节点，本章讲述的节点特指node节点，node节点是集群的计算节点，即运行容器化应用的节点。 在云容器引擎CCE中，主要采用高性能的弹性 云服务器ECS 或裸金属服务器BMS作为节点来构建高可用的Kubernetes集群。

支持的节点规格 CCE集群和CCE Turbo集群支持的节点规格（flavor）不同，具体如下： CCE集群 CCE集群只支持2U4G以上的规格，建议您通过控制台查询节点规格，具体节点规格名称请参见规格清单。 在填写flavor时，需要填写具体规格名称，如c6.large.2。 CCE支持的规格列表如下（部分机型因区域而异，请以实际控制台显示为准）： 弹性云服务器-虚拟机： 表2 x86节点 节点类型 规格类型 通用计算增强型 c7、c7n、as7、ac7、air7、c6s、c6nl、c6、c6x、ac6、c3、c3ne、ct3、cx3ne 通用型 s7、s7n、s6、s6nl、s3、si3、sn3、s2、si2 通用入门型 t6 内存优化型 m7、am7、m7n、m6s、m6nl、m6、m3、m2 磁盘增强型 d7、d6、d6nl、d2 超高I/O型 i7、ir7、ir7n、i7n、ir3、i3、i3nl 高性能计算型 h3、hc2 GPU加速型 pi3、pi2、pi1、p3s、p2s、p1、g6、g5、g5r、g5rnl、g6l、p3snl、pi2nl、p2v AI加速型 kai1s、kai1、ai1s、ai1、ai2 表3 鲲鹏（ARM）节点 节点类型 规格类型 鲲鹏通用计算增强型 kc1 鲲鹏内存优化型 km1 弹性云服务器-物理机：支持c6、c7类型的弹性云服务器物理机。 裸金属服务器： x86节点：支持physical.d2、physical.s4、physical.c6ne、physical.d6ne类型的裸金属服务器。 ARM节点：支持physical.a1.2xlarge类型的裸金属服务器。 CCE Turbo集群 弹性云服务器-虚拟机： 表4 x86节点 节点类型 规格类型 通用计算增强型 c7、ac7、c7n、c3n、s7n 容器增强型 c6ne、c6sne、m6ne、m6sne 内存优化型 m7、am7、m3n、m7n 磁盘增强型 d7 超高I/O型 i7、ir7、ir7n、i7n GPU加速型 pi3、g6ne、pi2ne、p2sne、p3v AI加速型 ai2 表5 鲲鹏（ARM）节点 节点类型 规格类型 鲲鹏内存优化型 km1n、kc1n 弹性云服务器-物理机：支持c6、c7类型的弹性云服务器物理机。

注意事项 为了保证节点的稳定性，CCE集群节点上会根据节点的规格预留一部分资源给Kubernetes的相关组件（kubelet、kube-proxy以及docker等）和Kubernetes系统资源，使该节点可作为您的集群的一部分。 因此，您的节点资源总量与节点在Kubernetes中的可分配资源之间会存在差异。节点的规格越大，在节点上部署的容器可能会越多，所以Kubernetes自身需预留更多的资源。 节点的网络（如虚机网络、容器网络等）均被CCE接管，不允许用户自行添加网卡或改变路由，若自行修改，CCE不保证服务可用。 节点购买后如需对其进行升级或降低规格等操作，请将节点关机后参照变更规格通用操作进行变更，也可以重新购买节点后，将老节点删除。

节点生命周期 生命周期是指节点从创建到删除（或释放）历经的各种状态。 表1 节点生命周期状态说明 状态 状态属性 说明 可用 稳定状态 节点正常运行状态，并连接上集群。 在这个状态的节点可以运行您的业务。 不可用 稳定状态 节点运行异常状态。 在这个状态下的实例，不能对外提供业务，需要重置节点。 创建中 中间状态 创建节点实例后，在节点状态进入运行中之前的状态。 安装中 中间状态 节点处于安装Kubernetes软件的过程中。 删除中 中间状态 节点处于正在被删除的状态。 如果长时间处于该状态，则说明出现异常。 关机 稳定状态 节点被正常停止。 在这个状态下的实例，不能对外提供业务，您可以在弹性云服务器列表页对其进行开机操作。 错误 稳定状态 节点处于异常状态。 在这个状态下的实例，不能对外提供业务，需要重置节点。

安装插件 登录CCE控制台，单击左侧导航栏的“插件管理”，在“插件市场”页签下，单击“metrics-server”下的“安装插件”按钮。 在安装插件页面，选择安装的集群和插件版本，单击“下一步：规格配置”。 该插件可配置“单实例”或“高可用”规格，选择后单击“安装”。 待插件安装完成后，单击“返回”，在“插件实例”页签下，选择对应的集群，可查看到运行中的实例，这表明该插件已在当前集群的各节点中安装。

升级插件 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件实例”页签下，选择对应的集群，单击“metrics-server”下的“ 升级”。 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作。 升级“metrics-server”插件时，会替换原先节点上的旧版本的“metrics-server”插件，安装最新版本的“metrics-server”插件以实现功能的快速升级。 在基本信息页面选择插件版本，单击“下一步”。 参考安装插件中参数说明配置参数后，单击“升级”即可升级“metrics-server”插件。

操作场景 CCE集群支持两种添加节点的方式：购买节点和纳管节点，纳管节点是指将“已有的E CS /BMS加入到CCE集群中”，所纳管节点的计费模式支持“按需计费”和“包年/包月”两种类型。 本节将指导您通过CCE控制台纳管已有ECS虚拟机节点。 纳管时，会将所选弹性云服务器的操作系统重置为CCE提供的标准镜像，以确保节点的稳定性，请选择操作系统及重置后的登录方式。 所选弹性云服务器挂载的系统盘、数据盘都会在纳管时被格式化，请确保信息已备份。 纳管过程中，请勿在弹性云服务器控制台对所选虚拟机做任何操作。

约束与限制 集群版本需V1.13及以上。 暂不支持纳管鲲鹏、AI加速型、HECS（云耀云服务器）等异构节点。 集群开启IPv6后，只支持纳管所在的子网开启了IPv6功能的节点；集群未开启IPv6，只支持纳管所在的子网未开启IPv6功能的节点。 原虚拟机节点创建时若已设置密码或密钥，需等待虚拟机节点可用10分钟后方可纳管。 CCE Turbo集群要求节点支持Sub-ENI或可以绑定至少16张ENI网卡，具体规格请参见创建节点时控制台上可以选择的节点。

Volcano 1.0.0版本升级说明 Volcano 1.0.0版本与后续版本不兼容，不支持在控制台升级。如想使用新版本Volcano插件，需要先卸载1.0.0版本，然后再在控制台安装新版本。 执行如下命令可以卸载Volcano。 kubectl delete crd jobs.batch.volcano.sh kubectl delete crd commands.bus.volcano.sh

插件简介 Volcano是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址：https://github.com/volcano-sh/volcano

升级插件 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件实例”页签下，选择对应的集群，单击“Volcano”下的“ 升级”。 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作。 升级“Volcano”插件时，会替换原先节点上的旧版本的“Volcano”插件，安装最新版本的“Volcano”插件以实现功能的快速升级。 在基本信息页面选择插件版本，单击“下一步”。 单击“升级”即可升级“Volcano”插件。

依赖服务的权限设置 如果 IAM 用户需要在CCE Console控制台拥有相应功能的查看或使用权限，请确认已经对该用户所在的用户组设置了CCE Administrator、CCE FullAccess或CCE ReadOnlyAccess策略的集群权限，再按如下表1增加依赖服务的角色或策略。 企业项目能够实现企业不同项目间资源的分组和管理，重在资源隔离，而IAM可以实现细粒度授权，因此强烈推荐您使用IAM实现权限管理。 若您使用企业项目设置子用户权限，会有如下功能限制： 由于存储资源暂不支持企业项目，因此在CCE控制台，企业项目子用户查看非“Default”企业项目下集群的存储资源相关页面，存储页面中各按钮均置灰，且资源不显示。 在CCE控制台，集群监控获取 AOM 监控的接口暂不支持企业项目，因此企业项目子用户将无法查看监控相关数据。 在CCE控制台，由于创建节点时的密钥对查询接口不支持企业项目，因此企业项目子用户将无法使用“密钥对”登录方式，您可以选择使用“密码”登录方式。 为企业项目设置CCE FullAccess权限后 ，需要在IAM控制台界面中再配置ecs:availabilityZones:list权限，企业项目子用户创建节点才可以正常显示并创建，否则将提示没有ecs:availabilityZones:list权限。 CCE支持细粒度的权限设置，但有如下限制说明： AOM不支持资源级别细粒度：当通过IAM集群资源细粒度设置特定资源操作权限之后，IAM用户在CCE控制台的总览界面查看集群监控时，将显示非细粒度关联集群的监控信息。 在IAM页面设置CCE FullAccess或者CCE ReadOnlyAccess权限后，需要配置sfsturbo:*:*权限才能使用极速文件存储卷，否则IAM用户在集群下查询极速文件存储卷将失败。 表1 CCE Console中依赖服务的角色或策略 Console控制台功能 依赖服务 需配置角色/策略 总览 应用运维管理 AOM IAM用户设置了CCE Administrator权限后，需要增加AOM FullAccess权限后才能访问总览中的数据图表。 支持设置了IAM ReadOnlyAccess和CCE FullAccess或CCE ReadOnlyAccess权限的IAM用户直接访问总览中的数据图表。 工作负载 弹性负载均衡 ELB 应用性能管理 APM 应用运维管理 AOM NAT网关 NAT 对象存储服务 OBS 弹性文件服务 SFS 正常创建工作负载时不依赖其他服务的权限。 如果需要创建ELB类型的服务，需要设置ELB FullAccess或者ELB Administrator权限，以及VPC Administrator权限。 如果需要使用Java探针，需要设置AOM FullAccess和 APM FullAccess权限。 如果需要NAT网关类型的服务，需要设置NAT Gateway Administrator权限。 如果使用对象存储，需要全局设置OBS Administrator权限。 说明： 由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的RBAC策略后，大概需要等待13分钟RBAC策略才能生效；授予OBS相关的系统策略后，大概需要等待5分钟系统策略能生效。 如果使用文件存储，需要设置SFS FullAccess权限。 集群管理 应用运维管理 AOM 费用中心 BSS 如果需要弹性扩容权限，需要设置AOM FullAccess权限。 如果需要转包周期，需要设置BSS Administrator权限。 节点管理 弹性云服务器 ECS 当IAM用户权限为CCE Administrator时，如果创建和删除节点，需要配置ECS FullAccess或ECS Administrator权限，以及VPC Administrator权限。 网络管理 弹性负载均衡 ELB NAT网关 NAT 正常创建时不依赖其他服务的权限。 如果需要创建ELB类型的服务，需要设置ELB FullAccess或者ELB Administrator权限，以及VPC Administrator权限。 如果需要NAT网关类型的服务，需要设置NAT Administrator权限。 存储管理 对象存储服务 OBS 弹性文件服务 SFS 极速文件存储 EFS（SFS Turbo） 如果使用对象存储，需要全局设置OBS Administrator权限。 说明： 由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的RBAC策略后，大概需要等待13分钟RBAC策略才能生效；授予OBS相关的系统策略后，大概需要等待5分钟系统策略能生效。 如果使用文件存储，需要设置SFS FullAccess权限。 如果使用极速文件存储，需要设置SFS Turbo Admin权限 导入存储的功能需要设置CCE Administrator权限。 命名空间 / 无需其他依赖权限。 模板市场 / 当前仅支持华为云帐号、设置了CCE Administrator权限的IAM用户访问。 插件管理 / 支持华为云帐号、设置了CCE Administrator、CCE FullAccess或CCE ReadOnlyAccess等权限的IAM用户访问本功能。 权限管理 / 支持华为云帐号访问。 支持设置了CCE Administrator和Security Administrator（全局级策略）权限的IAM用户访问。 支持设置了IAM ReadOnlyAccess和CCE FullAccess或CCE ReadOnlyAccess权限的IAM用户访问。 配置中心 / 配置项 ( ConfigMap )无需其他依赖权限。 密钥 ( Secret )需要在命名空间权限下设置cluster-admin、admin或者edit权限才能查看，依赖服务需要添加DEW KeypairFullAccess或者DEW KeypairReadOnlyAccess权限。 帮助中心 / 无需其他依赖权限。 其他服务跳转 容器镜像服务 SWR 应用服务网格 ASM 应用运维管理 AOM 多云容器平台 MCP 云监控服务 Cloud Eye（存储管理与节点管理的“监控”跳转） 为便于您快速进入CCE相关服务的控制台，在CCE控制台增加了其他服务的跳转链接，CCE默认没有这些服务的全部权限，如果IAM用户需要查看或使用其功能，请按照该服务的权限策略说明设置相应的权限策略。

示例：授予命名空间只读权限（view） view权限拥有命名空间查看权限，您可以给某个或全部命名空间授权。 图6 授予default命名空间只读权限（view） 如果使用kubectl查看可以看到创建了一个RoleBinding，将view和cce-role-group这个用户组绑定了起来，且权限范围是default这个命名空间。 # kubectl get rolebindingNAME ROLE AGEclusterrole_view_group0c96fad22880f32a3f84c009862af6f7 ClusterRole/view 7s# kubectl get rolebinding clusterrole_view_group0c96fad22880f32a3f84c009862af6f7 -oyamlapiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata: annotations: CCE.com/IAM: "true" creationTimestamp: "2021-06-24T01:36:53Z" name: clusterrole_view_group0c96fad22880f32a3f84c009862af6f7 namespace: default resourceVersion: "36965800" selfLink: /apis/rbac.authorization.k8s.io/v1/namespaces/default/rolebindings/clusterrole_view_group0c96fad22880f32a3f84c009862af6f7 uid: b86e2507-e735-494c-be55-c41a0c4ef0ddroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: viewsubjects:- apiGroup: rbac.authorization.k8s.io kind: Group name: 0c96fad22880f32a3f84c009862af6f7 使用被授予用户连接集群，您会发现可以查询default命名空间的资源，但无法创建资源。 # kubectl get podNAME READY STATUS RESTARTS AGEtest-568d96f4f8-brdrp 1/1 Running 0 40mtest-568d96f4f8-cgjqp 1/1 Running 0 40m# kubectl run -i --tty --image tutum/dnsutils dnsutils --restart=Never --rm /bin/shError from server (Forbidden): pods is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot create resource "pods" in API group "" in the namespace "default"

配置命名空间权限（控制台） CCE中的命名空间权限是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。 登录CCE控制台，在左侧导航栏中选择“权限管理”，进入权限管理页面。 单击“命名空间权限”页签，在命名空间权限列表右上方选择要添加授权的集群，单击“添加授权”按钮，进入添加授权页面。 在添加授权页面，确认集群名称，选择该集群下要授权使用的命名空间，例如选择“全部命名空间”，选择要授权的用户或用户组，再选择具体权限，如下图所示。 图2 配置命名空间权限 单击“创建”。

示例：授予集群全部权限（cluster-admin） 集群全部权限可以使用cluster-admin权限，cluster-admin包含集群级别资源（PV、StorageClass等）的权限。 图4 授予集群全部权限（cluster-admin） 如果使用kubectl查看可以看到创建了一个ClusterRoleBinding，将cluster-admin和cce-role-group这个用户组绑定了起来。 # kubectl get clusterrolebindingNAME ROLE AGEclusterrole_cluster-admin_group0c96fad22880f32a3f84c009862af6f7 ClusterRole/cluster-admin 61s# kubectl get clusterrolebinding clusterrole_cluster-admin_group0c96fad22880f32a3f84c009862af6f7 -oyamlapiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: annotations: CCE.com/IAM: "true" creationTimestamp: "2021-06-23T09:15:22Z" name: clusterrole_cluster-admin_group0c96fad22880f32a3f84c009862af6f7 resourceVersion: "36659058" selfLink: /apis/rbac.authorization.k8s.io/v1/clusterrolebindings/clusterrole_cluster-admin_group0c96fad22880f32a3f84c009862af6f7 uid: d6cd43e9-b4ca-4b56-bc52-e36346fc1320roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-adminsubjects:- apiGroup: rbac.authorization.k8s.io kind: Group name: 0c96fad22880f32a3f84c009862af6f7 使用被授予用户连接集群，如果能正常查询PV、StorageClass的信息，则说明权限配置正常。 # kubectl get pvNo resources found# kubectl get scNAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGEcsi-disk everest-csi-provisioner Delete Immediate true 75dcsi-disk-topology everest-csi-provisioner Delete WaitForFirstConsumer true 75dcsi-nas everest-csi-provisioner Delete Immediate true 75dcsi-obs everest-csi-provisioner Delete Immediate false 75dcsi-sfsturbo everest-csi-provisioner Delete Immediate true 75d

集群权限（IAM授权）与命名空间权限（Kubernetes RBAC授权）的关系 拥有不同集群权限（IAM授权）的用户，其拥有的命名空间权限（Kubernetes RBAC授权）不同。表1给出了不同用户拥有的命名空间权限详情。 表1 不同用户拥有的命名空间权限 用户类型 权限范围 拥有Tenant Administrator权限的用户（例如华为云帐号） 全部命名空间权限 拥有CCE Administrator权限的IAM用户 全部命名空间权限 拥有CCE FullAccess或者CCE ReadOnlyAccess权限的IAM用户 按Kubernetes RBAC授权 拥有Tenant Guest权限的IAM用户 按Kubernetes RBAC授权

前提条件 Kubernetes RBAC的授权能力支持1.11.7-r2及以上版本集群。若需使用RBAC功能请将集群升级至1.11.7-r2或以上版本，升级方法请参见重置升级/滚动升级（1.13及以下版本）。 任何用户创建1.11.7-r2或以上版本集群后，CCE会自动为该用户添加该集群的所有命名空间的cluster-admin权限，也就是说该用户允许对集群以及所有命名空间中的全部资源进行完全控制。 拥有Security Administrator（IAM除切换角色外所有权限）权限的用户（如华为云帐号所在的admin用户组默认拥有此权限），才能在CCE控制台命名空间权限页面进行授权操作。

自定义命名空间权限（kubectl） kubectl访问CCE集群是通过集群上生成的配置文件（kubeconfig.json）进行认证，kubeconfig.json文件内包含用户信息，CCE根据用户信息的权限判断kubectl有权限访问哪些Kubernetes资源。即哪个用户获取的kubeconfig.json文件，kubeconfig.json就拥有哪个用户的信息，这样使用kubectl访问时就拥有这个用户的权限。而用户拥有的权限就是集群权限（IAM授权）与命名空间权限（Kubernetes RBAC授权）的关系所示的权限。 除了使用cluster-admin、admin、edit、view这4个最常用的clusterrole外，您还可以通过定义Role和RoleBinding来进一步对命名空间中不同类别资源（如Pod、Deployment、Service等）的增删改查权限进行配置，从而做到更加精细化的权限控制。 Role的定义非常简单，指定namespace，然后就是rules规则。如下面示例中的规则就是允许对default命名空间下的Pod进行GET、LIST操作。 kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata: namespace: default # 命名空间 name: role-examplerules:- apiGroups: [""] resources: ["pods"] # 可以访问pod verbs: ["get", "list"] # 可以执行GET、LIST操作 apiGroups表示资源所在的API分组。 resources表示可以操作哪些资源：pods表示可以操作pod，其他Kubernetes的资源如deployments、configmaps等都可以操作 verbs表示可以执行的操作：get表示查询一个Pod，list表示查询所有Pod。您还可以使用create（创建）, update（更新）, delete（删除）等操作词。 详细的类型和操作请参见使用 RBAC 鉴权。 有了Role之后，就可以将Role与具体的用户绑定起来，实现这个的就是RoleBinding了。如下所示。 kind: RoleBindingapiVersion: rbac.authorization.k8s.io/v1metadata: name: RoleBinding-example namespace: default annotations: CCE.com/IAM: 'true'roleRef: kind: Role name: role-example apiGroup: rbac.authorization.k8s.iosubjects:- kind: User name: 0c97ac3cb280f4d91fa7c0096739e1f8 # user-example的用户ID apiGroup: rbac.authorization.k8s.io 这里的subjects就是将Role与IAM用户绑定起来，从而使得IAM用户获取role-example这个Role里面定义的权限，如下图所示。 图3 RoleBinding绑定Role和用户 subjects下用户的类型还可以是用户组，这样配置可以对用户组下所有用户生效。 subjects:- kind: Group name: 0c96fad22880f32a3f84c009862af6f7 # 用户组ID apiGroup: rbac.authorization.k8s.io 使用IAM用户user-example连接集群，获取Pod信息，发现可获取到Pod的信息。 # kubectl get podNAME READY STATUS RESTARTS AGEdeployment-389584-2-6f6bd4c574-2n9rk 1/1 Running 0 4d7hdeployment-389584-2-6f6bd4c574-7s5qw 1/1 Running 0 4d7hdeployment-3895841-746b97b455-86g77 1/1 Running 0 4d7hdeployment-3895841-746b97b455-twvpn 1/1 Running 0 4d7hnginx-658dff48ff-7rkph 1/1 Running 0 4d9hnginx-658dff48ff-njdhj 1/1 Running 0 4d9h# kubectl get pod nginx-658dff48ff-7rkphNAME READY STATUS RESTARTS AGEnginx-658dff48ff-7rkph 1/1 Running 0 4d9h 然后查看Deployment和Service，发现没有权限；再查询kube-system命名空间下的Pod信息，发现也没有权限。这就说明IAM用户user-example仅拥有defaul这个命名空间下GET和LIST Pod的权限，与前面定义的没有偏差。 # kubectl get deployError from server (Forbidden): deployments.apps is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "deployments" in API group "apps" in the namespace "default"# kubectl get svcError from server (Forbidden): services is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "services" in API group "" in the namespace "default"# kubectl get pod --namespace=kube-systemError from server (Forbidden): pods is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "pods" in API group "" in the namespace "kube-system"

命名空间权限（kubernetes RBAC授权） 命名空间权限是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。Kubernetes RBAC API定义了四种类型：Role、ClusterRole、RoleBinding与ClusterRoleBinding，这四种类型之间的关系和简要说明如下： Role：角色，其实是定义一组对Kubernetes资源（命名空间级别）的访问规则。 RoleBinding：角色绑定，定义了用户和角色的关系。 ClusterRole：集群角色，其实是定义一组对Kubernetes资源（集群级别，包含全部命名空间）的访问规则。 ClusterRoleBinding：集群角色绑定，定义了用户和集群角色的关系。 Role和ClusterRole指定了可以对哪些资源做哪些动作，RoleBinding和ClusterRoleBinding将角色绑定到特定的用户、用户组或ServiceAccount上。如下图所示。 图1 角色绑定 在CCE控制台可以授予用户或用户组命名空间权限，可以对某一个命名空间或全部命名空间授权，CCE控制台默认提供如下ClusterRole。 view：对全部或所选命名空间下大多数资源的只读权限。 edit：对全部或所选命名空间下多数资源的读写权限。当配置在全部命名空间时能力与运维权限一致。 admin：对全部命名空间下大多数资源的读写权限，对节点、存储卷，命名空间和配额管理的只读权限。 cluster-admin：对全部命名空间下所有资源的读写权限。

示例：授予命名空间全部权限（admin） admin权限拥有命名空间全部权限，您可以给某个或全部命名空间授权。 图5 授予default命名空间全部权限（admin） 如果使用kubectl查看可以看到创建了一个RoleBinding，将admin和cce-role-group这个用户组绑定了起来，且权限范围是default这个命名空间。 # kubectl get rolebindingNAME ROLE AGEclusterrole_admin_group0c96fad22880f32a3f84c009862af6f7 ClusterRole/admin 18s# kubectl get rolebinding clusterrole_admin_group0c96fad22880f32a3f84c009862af6f7 -oyamlapiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata: annotations: CCE.com/IAM: "true" creationTimestamp: "2021-06-24T01:30:08Z" name: clusterrole_admin_group0c96fad22880f32a3f84c009862af6f7 namespace: default resourceVersion: "36963685" selfLink: /apis/rbac.authorization.k8s.io/v1/namespaces/default/rolebindings/clusterrole_admin_group0c96fad22880f32a3f84c009862af6f7 uid: 6c6f46a6-8584-47da-83f5-9eef1f7b75d6roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: adminsubjects:- apiGroup: rbac.authorization.k8s.io kind: Group name: 0c96fad22880f32a3f84c009862af6f7 使用被授予用户连接集群，您会发现可以查询和创建default命名空间的资源，但无法查询kube-system命名空间资源，也无法查询集群级别的资源。 # kubectl get podNAME READY STATUS RESTARTS AGEtest-568d96f4f8-brdrp 1/1 Running 0 33mtest-568d96f4f8-cgjqp 1/1 Running 0 33m# kubectl get pod -nkube-systemError from server (Forbidden): pods is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "pods" in API group "" in the namespace "kube-system"# kubectl get pvError from server (Forbidden): persistentvolumes is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "persistentvolumes" in API group "" at the cluster scope

升级插件 登录CCE控制台，单击左侧导航栏的“插件管理”，在“插件实例”页签下，选择对应的集群，单击autoscaler下的“ 升级”。 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作； 若升级按钮可单击，则单击升级按钮即可升级autoscaler插件。 升级autoscaler插件时，会替换原先节点上的旧版本的autoscaler插件，安装最新版本的autoscaler插件以实现功能的快速升级。 在弹出的窗口中，配置参数后，升级该插件。配置参数可参考安装插件中的参数说明。

插件简介 autoscaler是Kubernetes中非常重要的一个Controller，它提供了微服务的弹性能力，并且和Serverless密切相关。 弹性伸缩是很好理解的一个概念，当微服务负载高（CPU/内存使用率过高）时水平扩容，增加pod的数量以降低负载，当负载降低时减少pod的数量，减少资源的消耗，通过这种方式使得微服务始终稳定在一个理想的状态。 云容器引擎简化了Kubernetes集群的创建、升级和手动扩缩容，而集群中应用的负载本身是会随着时间动态变化的，为了更好的平衡资源使用率以及性能，kubernetes引入了autoscaler插件，它可以根据部署的应用所请求的资源量自动的动态的伸缩集群，详情请了解创建节点伸缩策略。 开源社区地址：https://github.com/kubernetes/autoscaler