通过Kubectl命令创建M CS 对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mcs.yaml 文件，文件内容定义如下所示，参数定义请参见表2。 vi mcs.yaml 示例YAML定义的MCS对象关联了名为foo的Service，支持在cluster A中访问到部署在cluster B中的该Service。 apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterService metadata: name: foo # MCS对象名称 namespace: default # MCS对象所在命名空间名称 spec: types: - CrossCluster # 类型为集群间服务发现 providerClusters: # Service的下发集群 - name: clusterB consumerClusters: # Service的访问集群 - name: clusterA 表2 关键参数说明 参数 是否必填 参数类型 描述 metadata.name 是 String MCS对象的名称，应与关联Service保持一致。 metadata.namespace 否 String MCS对象所在命名空间名称，应与关联Service所在命名空间名称保持一致。不填则默认为default。 spec.types 是 String 流量方向，实现集群间服务发现能力应配置为CrossCluster。 spec.providerClusters.name 否 String Service的下发集群名称，应配置为Service的部署集群。不填则默认将Service下发至集群联邦内所有集群。 注意： 若Service部署在cluster B，但在下发集群中配置了cluster A与cluster B，则该Service会同时下发至cluster A与cluster B，覆盖A中的原同名Service。 spec.consumerClusters.name 否 String Service的访问集群名称，应配置为期望通过MCS实现跨集群访问Service的集群名称。不填则默认设置为所有集群联邦内集群可访问该Service。 执行如下命令创建MCS对象。 kubectl apply -f mcs.yaml 执行如下命令查看MCS对象的状态。其中foo为MCS对象的名称。 kubectl describe mcs foo YAML文件中的status字段记录了MCS的状态，当status字段中出现如下内容时，表明Endpoint Slices下发并同步成功，集群间服务发现能力可用。 status: conditions: - lastTransitionTime: "2023-11-20T02:30:49Z" message: EndpointSlices are propagated to target clusters. reason: EndpointSliceAppliedSuccess status: "True" type: EndpointSliceApplied 创建完成后，可以执行如下命令操作MCS对象。其中foo为MCS对象的名称。 获取MCS对象：kubectl get mcs foo 更新MCS对象：kubectl edit mcs foo 删除MCS对象：kubectl delete mcs foo 若MCS实例删除状态异常，一直显示“删除中”，则异常实例需要强制删除并清理资源。具体操作请参见MCS/MCI实例删除异常如何排查?

创建类别为负载均衡的MCS对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mcs.yaml 文件，文件内容定义如下所示，参数定义请参见表1。 示例YAML定义的MCS对象关联了名为nginx的Service，将nginx的Service注册到华为云ELB的监听器上。 vi mcs.yaml apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterService metadata: name: nginx namespace: default annotations: karmada.io/elb.id: 2050857a-45ff-4312-8fdb-4a4e2052e7dc karmada.io/elb.projectid: c6629a1623df4596a4e05bb6f0a2e166 karmada.io/elb.port: "802" karmada.io/elb.health-check-flag: "on" spec: ports: - port: 80 types: - LoadBalancer 表1 关键参数说明 参数 是否必填 参数类型 描述 metadata.name 是 String MCS对象的名称，应与关联Service保持一致。 etadata.namespace 否 String MCS对象所在命名空间名称，应与关联Service所在命名空间名称保持一致。不填则默认为default。 spec.types 是 String 流量方向。 实现集群间服务发现能力应配置为CrossCluster； 将服务通过ELB对外暴露应配置为LoadBalancer。 spec.ports.port 否 Integer 关联的Service需要注册到ELB监听器上的服务端口。 spec.consumerClusters.name 否 String Service的访问集群名称，应配置为期望通过MCS实现跨集群访问Service的集群名称。不填则默认设置为所有集群联邦内集群可访问该Service。 karmada.io/elb.id 是 String MCS关联的elb的id，不允许为空。 取值范围：1-32个字符。 karmada.io/elb.projectid 是 String MCS关联的elb所属的项目ID，获取方法请参见获取项目ID。 取值范围：1-32个字符。 karmada.io/elb.port 否 String MCS关联的elb的端口，不填时默认为80。 取值范围：1-65535。 karmada.io/elb.health-check-flag 否 String 是否启用健康检查，可选值为： on：开启 off：不开启 不填写时默认为off。 karmada.io/elb.health-check-option 否 HealthCheck Object 健康检查参数，详情请参见HealthCheck。 说明： 健康检查参数配置示例： karmada.io/elb.health-check-option: '{"protocol":"TCP","delay":"5","connect_port":"80","timeout":"1","max_retries":"1","path":"/wd"}' 在annotation开启健康检查配置的情况下，Service名称的长度不应超过39个字符。 karmada.io/elb.lb-algorithm 否 String 转发算法： ROUND_ROBIN：加权轮询算法。 LEAST_CONNECTIONS：加权最少连接算法。 SOURCE_IP：源IP算法。 不填写时默认为ROUND_ROBIN。 表2 HealthCheck参数说明 参数 是否必填 参数类型 描述 protocol 否 String 健康检查使用的协议。支持TCP/HTTP，默认值是TCP。 connect_port 否 Int 健康检查使用的端口。取值范围[1，65535]，为可选参数。 说明： 默认使用后端服务器默认业务端口进行健康检查。指定特定端口后，使用指定的端口进行健康检查。 delay 否 Int 健康检查的延迟时间，以秒为单位，1-50，默认值是5秒。 timeout 否 Int 健康检查的超时时间，以秒为单位，1-50，默认值是10秒。 path 否 String 健康检查的请求URL，当type为HTTP/HTTPS时生效。 以"/"开头，默认为"/"。支持使用字母、数字和短划线（-）、正斜线（/）、半角句号（.）、百分号（%）、半角问号（?）、井号（#）和and（&）以及扩展字符集。长度为1-80个字符。 max_retries 否 Int 最大重试次数，取值范围1-10，默认值是3次。 执行如下命令创建MCS对象。 kubectl apply -f mcs.yaml 创建完成后，可以执行如下命令操作MCS对象。其中nginx为MCS对象的名称。 获取MCS对象：kubectl get mcs nginx 更新MCS对象：kubectl edit mcs nginx 删除MCS对象：kubectl delete mcs nginx

准备工作 如您没有可用的ELB实例，需要先创建ELB实例，具体请参考创建独享型负载均衡器。该ELB实例需要满足以下条件： ELB为独享型。 ELB必须支持网络型（TCP/UDP）。 ELB网络类型必须支持私网（有私有IP地址）。 如果ELB与成员集群的网络不在同一VPC内，ELB需要支持开启跨VPC访问的开关。 MCS为跨集群后端工作负载提供统一入口和四层网络访问，因此需要在联邦中提前部署可用的工作负载（Deployment）和服务（Service）。若您无可用工作负载和服务，请参考无状态负载和集群内访问（ClusterIP）创建。 设置集群为underlay网络，支持underlay网络的集群类型请参见设置集群网络。

通过MCI访问服务 MCI对象创建成功后，您可以通过 http://IP:port/path 访问后端工作负载，其中IP:port为MCI关联ELB的IP和端口，path为MCI对象中定义的路径。 MCI对象中还可以设置外部 域名 ，这样您就可以通过域名来访问到ELB，进而访问到后端服务。 spec: rules: - host: www.example.com # 域名 http: paths: - path: / backend: serviceName: nginx # 准备一个名为nginx的联邦service servicePort: 80 # 端口号为80 域名访问依赖于域名解析，需要您将域名解析指向ELB实例的IP地址，例如您可以使用云解析服务 DNS来实现域名解析。 若访问服务失败，请参考通过MCI访问服务失败，如何排查？。

创建MCI对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mci.yaml 文件，文件内容定义如下所示，参数定义请参见表1。 vi mci.yaml apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterIngress metadata: name: nginx-ingress namespace: default annotations: karmada.io/elb.conditions.nginx-svc: '[{ "type": "header", "headerConfig": { "key":"x-header", "values": [ "green" ] } }]' karmada.io/elb.id: 90f9f782-1243-41cc-a57d-6157f6cb85bf karmada.io/elb.projectid: 65382450e8f64ac0870cd180d14e684b karmada.io/elb.health-check-flag.nginx-svc: "on" # 对应服务的健康检查配置项开关 karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP"}' # 对应服务的健康检查配置项 spec: ingressClassName: public-elb rules: - host: demo.localdev.me http: paths: - backend: service: name: nginx-svc # 准备一个名为nginx-svc的联邦service port: number: 8080 # 端口号为8080 path: /web pathType: Prefix MCI对象的结构体定义与networking.kubernetes.io/v1版本Ingress一致，不同之处在于后端服务需要填写为联邦Service，即在UCS控制台创建的Service，具体请参见集群内访问（ClusterIP）。 在配置MCI文件内容的过程中需要遵守的约束条件如下： apiVersion，kind，name必须指定。 spec下不允许填写TLS和DefaultBackend字段。 rules、paths不能为空。 host必须是DNS名称，不可以是IP地址。 service中所指定的后端服务必须是存在的、且输入的相关信息（如端口）是正确的，否则会导致访问服务失败。若您已经创建了参数信息错误的MCI对象，请参考4中的命令更新该MCI对象。 paths中，配置的高级转发策略（karmada.io/elb.conditions.{service name}）越多的后端（backend）在paths中的位置应该越靠前。因为backend在paths中配置的位置越靠前，其转发优先级越高。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 backend下不允许填写resource字段。 path值需要是绝对路径；不合法的path值：invalidPathSequences = []string{"//", "/./", "/../", "%2f","%2F"}，invalidPathSuffixes = []string{"/..", "/."}。 pathType合法值：Exact、Prefix、ImplementationSpecific。 在默认配置下，Service名称的长度限制最长支持50个字符。 表1 关键参数说明 参数 是否必填 参数类型 描述 karmada.io/elb.id 是 String MCI关联的elb的id，不允许为空。 取值范围：1-32个字符。 karmada.io/elb.projectid 是 String MCI关联的elb所属的项目ID，获取方法请参见获取项目ID。 取值范围：1-32个字符。 karmada.io/elb.port 否 String MCI关联的elb的端口，不填时默认为80。 取值范围：1-65535。 karmada.io/elb.health-check-flag.nginx-svc 否 String 是否启用健康检查，可选值为： on：开启 off：不开启 不填写时默认为off。 说明： 该标签为"karmada.io/elb.health-check-flag.{serviceName}"，仅对对应的service生效； karmada.io/elb.health-check-option.{service name} 否 HealthCheck Object 健康检查参数，详情请参见HealthCheck。{service name}请修改为联邦Service的名称。 说明： 健康检查参数配置示例： karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP","delay":"5","connect_port":"80","timeout":"1","max_retries":"1","path":"/wd"}' 在annotation开启健康检查配置的情况下，Service名称的长度不应超过39个字符。 karmada.io/elb.conditions.{service name} 否 Array of Condition Object 高级转发策略，详情请参见Condition。{service name}请修改为联邦Service的名称。 karmada.io/elb.lb-algorithm.{service name} 否 String 转发算法： ROUND_ROBIN：加权轮询算法。 LEAST_CONNECTIONS：加权最少连接算法。 SOURCE_IP：源IP算法。 不填写时默认为ROUND_ROBIN。 {service name}请修改为联邦Service的名称。 karmada.io/elb.keepalive_timeout 否 string 客户端连接空闲超时时间，单位为秒。当一直未请求的时间超过配置值，负载均衡会暂时中断当前连接，直到下一次请求时再重新建立新的连接。 不填写时默认为60s。 取值范围：0-4000s karmada.io/elb.client_timeout 否 string 等待客户端请求超时时间，单位为秒。 不填写时默认值为60s。 取值范围：1-300s karmadas.io/elb.member_timeout 否 string 等待后端服务器响应超时时间，单位为秒。请求转发后端服务器后，若未响应时间超过配置值，负载均衡将终止等待，并返回HTTP 504错误码。 不填写时默认为60s。 取值范围：1-300s ingressClassName 是 String ingressClass名称。取值必须为public-elb。 host 否 String 为服务访问域名配置。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 不填写时默认不显示该字段，表示域名全匹配。 backend 否 Backend Object 后端，是Service和端口名称的组合。对于发往MCI的 HTTP和HTTPS请求，如果与规则中的主机和路径匹配，则会被发送到所列出的后端。 注意： 后端在paths中的配置顺序决定了策略的转发优先级。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 path 是 String 路由路径，您可以自定义设置。所有外部访问请求需要匹配host和path。 说明： 此处添加的访问路径要求后端应用内存在相同的路径，否则转发无法生效。 例如，Nginx应用默认的Web访问路径为“/usr/share/nginx/html”，在为Ingress转发策略添加“/test”路径时，需要应用的Web访问路径下也包含相同路径，即“/usr/share/nginx/html/test”，否则将返回404。 pathType 是 String 路径类型。 ImplementationSpecific: 匹配方法取决于具体Ingress Controller的实现。在CCE中会使用ingress.beta.kubernetes.io/url-match-mode指定的匹配方式。 Exact：精确匹配 URL 路径，且区分大小写。 Prefix：前缀匹配，且区分大小写。该方式是将URL路径通过“/”分隔成多个元素 ，并且对元素进行逐个匹配。 如果URL中的每个元素均和路径匹配，则说明该URL的子路径均可以正常路由。 说明： Prefix匹配时每个元素均需精确匹配，如果URL的最后一个元素是请求路径中最后一个元素的子字符串，则不会匹配 。例如：/foo/bar匹配/foo/bar/baz，但不匹配/foo/barbaz。 通过“/”分隔元素时，若URL或请求路径以“/”结尾，将会忽略结尾的“/”。例如：/foo/bar会匹配/foo/bar/。 关于Ingress路径匹配示例，请参见示例。 表2 HealthCheck参数说明 参数 是否必填 参数类型 描述 protocol 否 String 健康检查使用的协议，支持TCP/HTTP，默认值是HTTP。 connect_port 否 Int 健康检查使用的端口。取值范围[1，65535]，为可选参数。 说明： 默认使用后端服务器默认业务端口进行健康检查。指定特定端口后，使用指定的端口进行健康检查。 delay 否 Int 健康检查的延迟时间，以秒为单位，1-50，默认值是5秒。 timeout 否 Int 健康检查的超时时间，以秒为单位，1-50，默认值是10秒。 path 否 String 健康检查的请求URL，当type为HTTP/HTTPS时生效。 以"/"开头，默认为"/"。支持使用字母、数字和短划线（-）、正斜线（/）、半角句号（.）、百分号（%）、半角问号（?）、井号（#）和and（&）以及扩展字符集。长度为1-80个字符。 max_retries 否 Int 最大重试次数，取值范围1-10，默认值是3次。 表3 Condition参数说明 参数 是否必填 参数类型 描述 type 是 String 高级转发策略类型，当前仅支持header。 headerConfig 是 headerConfig Object 高级转发策略对象，详情请参见headerConfig。 表4 headerConfig参数说明 参数 是否必填 参数类型 描述 key 是 String 转发Header头。 长度限制1-40字符，只允许包含字母、数字、短划线和下划线。 values 是 String数组 转发Header头对应的值。 长度限制1-128字符，不支持空格， 双引号，支持以下通配符：*（匹配0个或更多字符）和？（正好匹配1个字符）。 执行如下命令创建MCI对象。 kubectl apply -f mci.yaml 回显如下。 multiClusterIngress.networking.karmada.io/nginx-ingress created 创建完成后，可以执行如下命令操作MCI对象。其中nginx-ingress为MCI对象的名称。 获取MCI对象：kubectl get mci nginx-ingress 更新MCI对象：kubectl edit mci nginx-ingress 删除MCI对象：kubectl delete mci nginx-ingress

约束限制 当前MCI仅支持版本为1.21及以上的 CCE Turbo 集群、网络模型为underlay的其他Kubernetes集群创建。 请提前做好网络规划，保证成员集群间容器网络不冲突，确保ELB实例与容器Pod IP网络可达。若MCI的ELB实例与集群处于不同VPC内，请提前打通VPC间的网络。 当为同一Service同时配置MCI与MCS时，该Service将会下发至MCS中配置的下发集群、访问集群以及对应工作负载的部署集群。

准备工作 如您没有可用的ELB实例，需要先创建ELB实例，具体请参考创建独享型负载均衡器。该ELB实例需要满足以下条件： ELB为独享型。 ELB必须支持应用型（HTTP/HTTPS）。 ELB网络类型必须支持私网（有私有IP地址）。 如果ELB与成员集群的网络不在同一VPC内，ELB需要支持开启跨VPC访问的开关。 MCI为跨集群后端工作负载提供统一入口和七层网络访问，因此需要在联邦中提前部署可用的工作负载（Deployment）和服务（Service）。若您无可用工作负载和服务，请参考无状态负载和集群内访问（ClusterIP）创建。 设置集群为underlay网络，支持underlay网络的集群类型请参见设置集群网络。

本地集群 关于本地集群KubeConfig详情请参见本地集群KubeConfig文件。 获取本地集群的KubeConfig需要使用ucs-ctl工具，获取步骤如下： 使用ucs-ctl获取集群名称。 ./ucs-ctl get cluster 使用ucs-ctl导出指定集群的KubeConfig。 ./ucs-ctl get kubeconfig -c test-redhat86 -o kubeconfig 可以使用ucs-ctl get kubeconfig -h查看获取KubeConfig所使用到的参数。 -c, --cluster：指定待导出KubeConfig的集群名。 -e, --eip：指定API server的eip。 -o, --output：指定KubeConfig导出文件名。

自建集群 如果您的集群是通过Kubernetes官方二进制文件或Kubeadm等部署工具搭建的标准集群，可直接使用以下方法获取KubeConfig文件。 该方法不适用于云服务商提供的商用集群，商用集群的KubeConfig文件获取请参考第三方云厂商集群。 登录集群Master节点。 查看集群访问凭证。默认情况下，自建集群的配置文件路径为Master节点的“$HOME/.kube/config”，如您的集群指定了其他KubeConfig配置文件，请自行更换路径。 cat $HOME/.kube/config 复制该凭证内容。 在本地创建一个YAML文件，将上一步中复制的凭证内容粘贴至该文件并保存。 使用4中的YAML文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。

第三方云厂商集群 由于第三方云厂商集群提供的KubeConfig文件格式存在差异，您需要自行创建一个具有所有集群资源操作权限的ServiceAccount，并获取这个ServiceAccount的token，用于配置UCS支持的KubeConfig文件。 通过kubectl连接集群。 创建ucs-service-account.yaml文件。 apiVersion: v1 kind: ServiceAccount metadata: name: ucs-user --- apiVersion: v1 kind: Secret metadata: name: ucs-user-token annotations: kubernetes.io/service-account.name: "ucs-user" type: kubernetes.io/service-account-token --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: ucs-user-role rules: - apiGroups: - '*' resources: - '*' verbs: - '*' - nonResourceURLs: - '*' verbs: - get --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: ucs-user-role-binding subjects: - kind: ServiceAccount name: ucs-user namespace: default roleRef: kind: ClusterRole name: ucs-user-role apiGroup: rbac.authorization.k8s.io 在集群中执行以下命令创建ServiceAccount。 kubectl apply -f ucs-service-account.yaml 使用以下命令获取token。 kubectl get secret ucs-user-token -n default -oyaml | grep token: | awk '{print $2}' | base64 -d ;echo 配置KubeConfig文件。 参考以下示例创建一个kubeconfig.yaml文件，并将token替换为4中获取的值。 kubeconfig.yaml： kind: Config apiVersion: v1 preferences: {} clusters: - name: internalCluster cluster: server: 'https://kubernetes.default.svc.cluster.local:443' insecure-skip-tls-verify: true users: - name: ucs-user user: token: 'MIIFbAYJKo*****' contexts: - name: internal context: cluster: internalCluster user: ucs-user current-context: internal KubeConfig文件中的关键参数说明如下： 参数名 参数值 说明 是否可选 server 'https://kubernetes.default.svc.cluster.local:443' APIServer的集群内访问地址。由于部分厂商集群对APIServer地址做了外部访问限制，可能导致UCS无法正常接入集群，因此建议使用集群内访问地址。 必选 insecure-skip-tls-verify true 如使用该参数，表示跳过证书认证，参数值必须为true。 二选一 说明： 当server字段为集群内访问地址时，优选跳过证书认证。 certificate-authority-data base64加密字符串 如使用该参数，表示集群开启双向认证，参数值为经base64加密后的服务端证书。 原生K8s集群的服务端证书默认地址为master节点的“/etc/kubernetes/pki/ca.crt”。 token base64加密字符串 用户以token方式进行认证，参数值为4中获取的token值。 三选一 说明： 优选token方式，UCS不支持除这三种方式外的其他认证方式。 client-certificate-data client-key-data base64加密字符串 用户以证书加私钥的方式进行认证。 client-certificate-data：经base64加密后的客户端证书。 client-key-data：经base64加密后的客户端私钥。 username password 字符串 用户通过用户名密码进行认证。 username：访问集群的用户名。 password：用户名对应的密码。 使用5中配置的KubeConfig文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。 使用UCS期间，创建的ServiceAccount、ClusterRole、ClusterRoleBinding对象均不能删除，否则token将会失效。 如集群不再接入UCS，可使用kubectl delete -f ucs-service-account.yaml命令删除UCS创建的SA对象。

管理节点标签/污点 登录集群控制台。 在左侧导航栏中单击“节点管理”，在节点列表中选择节点，并单击“标签与污点管理”。 单击按钮，设置节点标签/污点。如需执行多项操作，可多次添加，最多支持10条操作。 图1 添加标签/污点 选择“添加”或“删除”操作。 选择操作对象为“K8S标签”或“污点（Taints）”。 填写需要增加标签/污点的“键”和“值”。 如选择操作对象为“污点（Taints）”，需选择污点效果，关于污点效果说明请参见污点（Taints）说明。 单击“确定”，对所选节点执行标签/污点操作。

节点标签使用场景 节点标签的主要使用场景有两类。 节点分类：通过添加标签对节点进行分类。 工作负载与节点的亲和与反亲和： 有的工作负载需要的CPU大，有的工作负载需要的内存大，有的工作负载需要IO大，可能会影响其他工作负载正常工作，此时建议给节点添加不同标签。在部署工作负载的时候，就可以选择相应标签的节点亲和部署，保证系统正常工作；反之，可以使用节点的反亲和部署。 一个系统可以分为多个模块，每个模块由多个微服务组成，为保证后期运维的高效，可以将节点打上对应模块的标签，让各模块的工作负载部署到各自的节点上，互不干扰、利于维护。

节点固有标签 创建节点后，UCS会为节点添加固有标签，这些标签是无法编辑和删除的。节点固有标签的含义请参见表1。 表1 节点固有标签 键 值 failure-domain.beta.kubernetes.io/region 表示节点当前所在区域 failure-domain.beta.kubernetes.io/zone 表示节点所在区域的可用区 beta.kubernetes.io/arch 表示节点处理器架构 例如：amd64，表示AMD64位的处理器 beta.kubernetes.io/os 表示节点的操作系统 例如：linux，表示Linux操作系统 kubernetes.io/availablezone 表示节点所在区域的可用区 kubernetes.io/hostname 表示节点主机名称 os.architecture 表示节点处理器架构 例如：amd64，表示AMD64位的处理器 os.name 表示节点的操作系统名称 例如：EulerOS_2.0_SP2，表示欧拉2.2的版本 os.version 表示节点内核版本

容忍度（Toleration）说明 容忍度应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 污点和容忍度相互配合，可以用来避免Pod被分配到不合适的节点上。每个节点上都可以拥有一个或多个污点，而对这些污点没有设置容忍度的Pod，将不会被调度到该节点上。 在Pod中设置容忍度的示例如下： apiVersion: v1 kind: Pod metadata: name: nginx labels: env: test spec: containers: - name: nginx image: nginx imagePullPolicy: IfNotPresent tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule" 上面示例中表示节点上存在键名为“key1”，键值为“value1”，且效果为“NoSchedule”的污点时，该Pod能够调度到节点上。 容忍度还可以按如下方式进行设置，表示当节点上存在键名为“key1”，且效果为“NoSchedule”的污点时，该Pod也可以调度到节点上。 tolerations: - key: "key1" operator: "Exists" effect: "NoSchedule"

插件简介 kube-prometheus-stack通过使用Prometheus Operator和Prometheus，提供简单易用的端到端Kubernetes集群监控能力，同时还具备自定义插件规格、对接Grafana、高可用、节点亲和等能力。 kube-prometheus-stack插件的核心组件包括prometheusOperator、prometheus、alertmanager、thanosSidecar、thanosQuery、adapter、kubeStateMetrics、nodeExporter、grafana。 prometheusOperator：根据自定义资源（Custom Resource Definition / CRDs）来部署和管理Prometheus Server，同时监控这些自定义资源事件的变化来做相应的处理，是整个系统的控制中心。 prometheus（Server）：Operator根据自定义资源Prometheus类型中定义的内容而部署Prometheus Server集群，这些自定义资源可以看作是用来管理Prometheus Server集群的StatefulSets资源。 alertmanager：插件的告警中心，主要用于接收Prometheus发送的告警并通过去重、分组、分发等能力管理告警信息。 thanosSidecar：高可用场景和Prometheus运行在同一个Pod中，用于实现普罗指标数据的持久化存储。 thanosQuery：普罗高可用时PromQL查询的入口，能够对来自Store或Prometheus的相同指标进行重复数据删除。 adapter（custom-metrics-apiserver）：将自定义指标聚合到原生的Kubernetes API Server。 kube-state-metrics：将Prometheus的metrics数据格式转换成Kubernetes API接口能识别的格式。kube-state-metrics组件在默认配置下，不采集Kubernetes资源的所有labels和annotation。如需采集，请参考如何修改kube-state-metrics组件的采集配置？章节进行配置。 nodeExporter：每个节点上均有部署，收集Node级别的监控数据。 grafana：可视化浏览普罗监控数据。Grafana会默认创建大小为5 GiB的存储卷，卸载插件时Grafana的存储卷不随插件被删除。 clusterProblemDetector：用于监控集群异常。