通过MCI访问服务 MCI对象创建成功后，您可以通过 http://IP:port/path 访问后端工作负载，其中IP:port为MCI关联ELB的IP和端口，path为MCI对象中定义的路径。 MCI对象中还可以设置外部 域名 ，这样您就可以通过域名来访问到ELB，进而访问到后端服务。 spec: rules: - host: www.example.com # 域名 http: paths: - path: / backend: serviceName: nginx # 准备一个名为nginx的联邦service servicePort: 80 # 端口号为80 域名访问依赖于域名解析，需要您将域名解析指向ELB实例的IP地址，例如您可以使用云解析服务 DNS来实现域名解析。 若访问服务失败，请参考通过MCI访问服务失败，如何排查？。

创建MCI对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mci.yaml 文件，文件内容定义如下所示，参数定义请参见表1。 vi mci.yaml apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterIngress metadata: name: nginx-ingress namespace: default annotations: karmada.io/elb.conditions.nginx-svc: '[{ "type": "header", "headerConfig": { "key":"x-header", "values": [ "green" ] } }]' karmada.io/elb.id: 90f9f782-1243-41cc-a57d-6157f6cb85bf karmada.io/elb.projectid: 65382450e8f64ac0870cd180d14e684b karmada.io/elb.port: "883" # 端口设置 karmada.io/elb.health-check-flag.nginx-svc: "on" # 对应服务的健康检查配置项开关 karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP"}' # 对应服务的健康检查配置项 spec: ingressClassName: public-elb rules: - host: demo.localdev.me http: paths: - backend: service: name: nginx-svc # 准备一个名为nginx-svc的联邦service port: number: 8080 # 端口号为8080 path: /web pathType: Prefix MCI对象的结构体定义与networking.kubernetes.io/v1版本Ingress一致，不同之处在于后端服务需要填写为联邦Service，即在U CS 控制台创建的Service，具体请参见集群内访问（ClusterIP）。 在配置MCI文件内容的过程中需要遵守的约束条件如下： apiVersion，kind，name必须指定。 spec下不允许填写TLS和DefaultBackend字段。 rules、paths不能为空。 host必须是DNS名称，不可以是IP地址。 service中所指定的后端服务必须是存在的、且输入的相关信息（如端口）是正确的，否则会导致访问服务失败。若您已经创建了参数信息错误的MCI对象，请参考4中的命令更新该MCI对象。 paths中，配置的高级转发策略（karmada.io/elb.conditions.{service name}）越多的后端（backend）在paths中的位置应该越靠前。因为backend在paths中配置的位置越靠前，其转发优先级越高。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 backend下不允许填写resource字段。 path值需要是绝对路径；不合法的path值：invalidPathSequences = []string{"//", "/./", "/../", "%2f","%2F"}，invalidPathSuffixes = []string{"/..", "/."}。 pathType合法值：Exact、Prefix、ImplementationSpecific。 在默认配置下，Service名称的长度限制最长支持50个字符。 表1 关键参数说明 参数 是否必填 参数类型 描述 karmada.io/elb.id 是 String MCI关联的elb的id，不允许为空。 取值范围：1-32个字符。 karmada.io/elb.projectid 是 String MCI关联的elb所属的项目ID，获取方法请参见获取项目ID。 取值范围：1-32个字符。 karmada.io/elb.port 否 String MCI关联的elb的端口，不填时默认为80。 取值范围：1-65535。 karmada.io/elb.health-check-flag.{service name} 否 String 是否启用健康检查，可选值为： on：开启 off：不开启 不填写时默认为off。 说明： 该标签为"karmada.io/elb.health-check-flag.{serviceName}"，仅对对应的service生效； karmada.io/elb.health-check-option.{service name} 否 HealthCheck Object 健康检查参数，详情请参见HealthCheck。{service name}请修改为联邦Service的名称。 说明： 健康检查参数配置示例： karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP","delay":"5","connect_port":"80","timeout":"1","max_retries":"1","path":"/wd"}' 在annotation开启健康检查配置的情况下，Service名称的长度不应超过39个字符。 karmada.io/elb.conditions.{service name} 否 Array of Condition Object 高级转发策略，详情请参见Condition。{service name}请修改为联邦Service的名称。 karmada.io/elb.lb-algorithm.{service name} 否 String 转发算法： ROUND_ROBIN：加权轮询算法。 LEAST_CONNECTIONS：加权最少连接算法。 SOURCE_IP：源IP算法。 不填写时默认为ROUND_ROBIN。 {service name}请修改为联邦Service的名称。 karmada.io/elb.keepalive_timeout 否 string 客户端连接空闲超时时间，单位为秒。当一直未请求的时间超过配置值，负载均衡会暂时中断当前连接，直到下一次请求时再重新建立新的连接。 不填写时默认为60s。 取值范围：0-4000s karmada.io/elb.client_timeout 否 string 等待客户端请求超时时间，单位为秒。 不填写时默认值为60s。 取值范围：1-300s karmada.io/elb.member_timeout 否 string 等待后端服务器响应超时时间，单位为秒。请求转发后端服务器后，若未响应时间超过配置值，负载均衡将终止等待，并返回HTTP 504错误码。 不填写时默认为60s。 取值范围：1-300s ingressClassName 是 String ingressClass名称。取值必须为public-elb。 host 否 String 为服务访问域名配置，默认为""，表示域名全匹配。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 backend 否 Backend Object 后端，是Service和端口名称的组合。对于发往MCI的 HTTP和HTTPS请求，如果与规则中的主机和路径匹配，则会被发送到所列出的后端。 注意： 后端在paths中的配置顺序决定了策略的转发优先级。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 path 是 String 路由路径，您可以自定义设置。所有外部访问请求需要匹配host和path。 说明： 此处添加的访问路径要求后端应用内存在相同的路径，否则转发无法生效。 例如，Nginx应用默认的Web访问路径为“/usr/share/nginx/html”，在为Ingress转发策略添加“/test”路径时，需要应用的Web访问路径下也包含相同路径，即“/usr/share/nginx/html/test”，否则将返回404。 pathType 是 String 路径类型。 ImplementationSpecific: 正则匹配，请求的URL和设定的URL正则表达式匹配。 Exact：精确匹配 URL 路径，且区分大小写。 Prefix：前缀匹配，且区分大小写。该方式是将URL路径通过“/”分隔成多个元素 ，并且对元素进行逐个匹配。 如果URL中的每个元素均和路径匹配，则说明该URL的子路径均可以正常路由。 说明： Prefix匹配时每个元素均需精确匹配，如果URL的最后一个元素是请求路径中最后一个元素的子字符串，则不会匹配 。例如：/foo/bar匹配/foo/bar/baz，但不匹配/foo/barbaz。 通过“/”分隔元素时，若URL或请求路径以“/”结尾，将会忽略结尾的“/”。例如：/foo/bar会匹配/foo/bar/。 关于Ingress路径匹配示例，请参见示例。 表2 HealthCheck参数说明 参数 是否必填 参数类型 描述 protocol 否 String 健康检查使用的协议，支持TCP/HTTP，默认值是HTTP。 connect_port 否 Int 健康检查使用的端口。取值范围[1，65535]，为可选参数。 说明： 默认使用后端服务器默认业务端口进行健康检查。指定特定端口后，使用指定的端口进行健康检查。 delay 否 Int 健康检查的延迟时间，以秒为单位，1-50，默认值是5秒。 timeout 否 Int 健康检查的超时时间，以秒为单位，1-50，默认值是10秒。 path 否 String 健康检查的请求URL，当type为HTTP/HTTPS时生效。 以"/"开头，默认为"/"。支持使用字母、数字和短划线（-）、正斜线（/）、半角句号（.）、百分号（%）、半角问号（?）、井号（#）和and（&）以及扩展字符集。长度为1-80个字符。 max_retries 否 Int 最大重试次数，取值范围1-10，默认值是3次。 表3 Condition参数说明 参数 是否必填 参数类型 描述 type 是 String 高级转发策略类型，当前仅支持header。 headerConfig 是 headerConfig Object 高级转发策略对象，详情请参见headerConfig。 表4 headerConfig参数说明 参数 是否必填 参数类型 描述 key 是 String 转发Header头。 长度限制1-40字符，只允许包含字母、数字、短划线和下划线。 values 是 String数组 转发Header头对应的值。 长度限制1-128字符，不支持空格， 双引号，支持以下通配符：*（匹配0个或更多字符）和？（正好匹配1个字符）。 执行如下命令创建MCI对象。 kubectl apply -f mci.yaml 回显如下。 multiClusterIngress.networking.karmada.io/nginx-ingress created 创建完成后，可以执行如下命令操作MCI对象。其中nginx-ingress为MCI对象的名称。 获取MCI对象：kubectl get mci nginx-ingress 更新MCI对象：kubectl edit mci nginx-ingress 删除MCI对象：kubectl delete mci nginx-ingress

准备工作 如您没有可用的ELB实例，需要先创建ELB实例，具体请参考创建独享型负载均衡器。该ELB实例需要满足以下条件： ELB为独享型。 ELB必须支持应用型（HTTP/HTTPS）。 ELB网络类型必须支持私网（有私有IP地址）。 如果ELB与成员集群的网络不在同一VPC内，ELB需要支持开启跨VPC访问的开关。 MCI为跨集群后端工作负载提供统一入口和七层网络访问，因此需要在联邦中提前部署可用的工作负载（Deployment）和服务（Service）。若您无可用工作负载和服务，请参考无状态负载和集群内访问（ClusterIP）创建。 设置集群为underlay网络，支持underlay网络的集群类型请参见设置集群网络。

约束限制 当前MCI仅支持版本为1.21及以上的 CCE Turbo 集群、网络模型为underlay的其他Kubernetes集群创建。 请提前做好网络规划，保证成员集群间容器网络不冲突，确保ELB实例与容器Pod IP网络可达。若MCI的ELB实例与集群处于不同VPC内，请提前打通VPC间的网络。 当为同一Service同时配置MCI与MCS时，该Service将会下发至MCS中配置的下发集群、访问集群以及对应工作负载的部署集群。

背景 Podinfo是一个微模型的Web应用程序，它展示了在Kubernetes中运行微服务的最佳实践，其主要用作于测试和研讨。本章将用podinfo源代码来做创建配置集合的示例。 为了可以更快的、更稳定的持续地交付软件、减少后续维护工作，所以将podinfo的源代码放入GitHub仓库，并通过创建配置集合的方式部署到集群中，通过GitOps能力实现软件自动化部署，具体请参考操作步骤。 创建podinfo源代码仓时，请先注册一个属于自己的GitHub账号，然后将podinfo所有代码fork到自己的GitHub仓库中。 在git仓库中定义交付资源清单文件时，不应包含敏感信息（如数据库连接密钥等）。相关敏感信息应以环境变量、加密存储的Secret等方式进行存储。 图1 Podinfo界面

操作步骤 登录华为云控制台。 在左侧导航栏中选择“分布式云原生”，选择“配置管理”。 在右上角“添加集群”，选择需要启用配置管理功能的目标集群，单击确定。 在集群概览页，选择目标集群，单击“Gitops能力”，查看Gitops插件（名称：集群名称-FluxPlugin）是否安装成功。当插件部署状态显示运行中，表示插件已部署成功。 图2 集群概览页 选择“配置集合”页签，单击创建配置集合。 选择仓库源，如果已有仓库源请参考使用已有仓库源配置，如果需要创建新仓库源，请参考创建新仓库源。

创建新仓库源 单击“创建新仓库源”输入仓库源名称、仓库源URL地址。 输入需要与其同步的代码库分支。 选择数据源验证，以及输入密钥。 选择公有类型的仓库无需进行身份验证，即可提供只读权限。 选择私有类型的仓库，则数据源验证可选择“选择集群secret”和“提供认证信息(SSH)”，两种方式都需要配置的密钥进行身份验证。 仓库密钥创建请参考密钥。 仓库源创建完成后，在“自动同步策略”内输入“配置集合路径”，单击“下一步：信息确认”。 确认配置信息无误后，单击“创建配置集合”；如有问题，单击上一步进行修改。

通过Kubectl命令创建MCS对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mcs.yaml 文件，文件内容定义如下所示，参数定义请参见表2。 vi mcs.yaml 示例YAML定义的MCS对象关联了名为foo的Service，支持在cluster A中访问到部署在cluster B中的该Service。 apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterService metadata: name: foo # MCS对象名称 namespace: default # MCS对象所在命名空间名称 spec: types: - CrossCluster # 类型为集群间服务发现 providerClusters: # Service的下发集群 - name: clusterB consumerClusters: # Service的访问集群 - name: clusterA 表2 关键参数说明 参数 是否必填 参数类型 描述 metadata.name 是 String MCS对象的名称，应与关联Service保持一致。 metadata.namespace 否 String MCS对象所在命名空间名称，应与关联Service所在命名空间名称保持一致。不填则默认为default。 spec.types 是 String 流量方向，实现集群间服务发现能力应配置为CrossCluster。 spec.providerClusters.name 否 String Service的下发集群名称，应配置为Service的部署集群。不填则默认将Service下发至集群联邦内所有集群。 注意： 若Service部署在cluster B，但在下发集群中配置了cluster A与cluster B，则该Service会同时下发至cluster A与cluster B，覆盖A中的原同名Service。 spec.consumerClusters.name 否 String Service的访问集群名称，应配置为期望通过MCS实现跨集群访问Service的集群名称。不填则默认设置为所有集群联邦内集群可访问该Service。 执行如下命令创建MCS对象。 kubectl apply -f mcs.yaml 执行如下命令查看MCS对象的状态。其中foo为MCS对象的名称。 kubectl describe mcs foo YAML文件中的status字段记录了MCS的状态，当status字段中出现如下内容时，表明Endpoint Slices下发并同步成功，集群间服务发现能力可用。 status: conditions: - lastTransitionTime: "2023-11-20T02:30:49Z" message: EndpointSlices are propagated to target clusters. reason: EndpointSliceAppliedSuccess status: "True" type: EndpointSliceApplied 创建完成后，可以执行如下命令操作MCS对象。其中foo为MCS对象的名称。 获取MCS对象：kubectl get mcs foo 更新MCS对象：kubectl edit mcs foo 删除MCS对象：kubectl delete mcs foo 若MCS实例删除状态异常，一直显示“删除中”，则异常实例需要强制删除并清理资源。具体操作请参见MCS/MCI实例删除异常如何排查?

通过控制台创建MCS对象 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在“容器舰队”页签下找到已开通集群联邦的舰队，单击名称进入详情页。 在左侧导航栏中选择“服务与路由”，选择“多集群服务”页签。 选择多集群服务所在命名空间，并单击右上角“创建服务”。如需新建命名空间，请参见创建命名空间。 设置访问参数。 表1 创建多集群服务参数说明 参数 说明 Service名称 自定义服务名称，可与工作负载名称保持一致。 访问类型 选择“集群内访问 ClusterIP”。 端口配置 协议：TCP或UDP，请根据业务的协议类型选择。 服务端口：容器端口映射到集群虚拟IP上的端口，用虚拟IP访问应用时使用，端口范围为1-65535，可任意指定。 容器端口：容器镜像中应用程序实际监听的端口，需用户确定。例如：nginx程序实际监听的端口为80。 命名空间 服务所在命名空间。 选择器 选择工作负载后自动获取对应的标签，不可修改。 单击“确认”。创建成功后可在“多集群服务”页签的列表中查看。

本地集群 关于本地集群KubeConfig详情请参见本地集群KubeConfig文件。 获取本地集群的KubeConfig需要使用ucs-ctl工具，获取步骤如下： 使用ucs-ctl获取集群名称。 ./ucs-ctl get cluster 使用ucs-ctl导出指定集群的KubeConfig。 ./ucs-ctl get kubeconfig -c test-redhat86 -o kubeconfig 可以使用ucs-ctl get kubeconfig -h查看获取KubeConfig所使用到的参数。 -c, --cluster：指定待导出KubeConfig的集群名。 -e, --eip：指定API server的eip。 -o, --output：指定KubeConfig导出文件名。

自建集群 如果您的集群是通过Kubernetes官方二进制文件或Kubeadm等部署工具搭建的标准集群，可直接使用以下方法获取KubeConfig文件。 该方法不适用于云服务商提供的商用集群，商用集群的KubeConfig文件获取请参考第三方云厂商集群。 登录集群Master节点。 查看集群访问凭证。默认情况下，自建集群的配置文件路径为Master节点的“$HOME/.kube/config”，如您的集群指定了其他KubeConfig配置文件，请自行更换路径。 cat $HOME/.kube/config 复制该凭证内容。 在本地创建一个YAML文件，将上一步中复制的凭证内容粘贴至该文件并保存。 使用4中的YAML文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。

第三方云厂商集群 由于第三方云厂商集群提供的KubeConfig文件格式存在差异，您需要自行创建一个具有所有集群资源操作权限的ServiceAccount，并获取这个ServiceAccount的token，用于配置UCS支持的KubeConfig文件。 通过kubectl连接集群。 创建ucs-service-account.yaml文件。 apiVersion: v1 kind: ServiceAccount metadata: name: ucs-user --- apiVersion: v1 kind: Secret metadata: name: ucs-user-token annotations: kubernetes.io/service-account.name: "ucs-user" type: kubernetes.io/service-account-token --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: ucs-user-role rules: - apiGroups: - '*' resources: - '*' verbs: - '*' - nonResourceURLs: - '*' verbs: - get --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: ucs-user-role-binding subjects: - kind: ServiceAccount name: ucs-user namespace: default roleRef: kind: ClusterRole name: ucs-user-role apiGroup: rbac.authorization.k8s.io 在集群中执行以下命令创建ServiceAccount。 kubectl apply -f ucs-service-account.yaml 使用以下命令获取token。 kubectl get secret ucs-user-token -n default -oyaml | grep token: | awk '{print $2}' | base64 -d ;echo 配置KubeConfig文件。 参考以下示例创建一个kubeconfig.yaml文件，并将token替换为4中获取的值。 kubeconfig.yaml： kind: Config apiVersion: v1 preferences: {} clusters: - name: internalCluster cluster: server: 'https://kubernetes.default.svc.cluster.local:443' insecure-skip-tls-verify: true users: - name: ucs-user user: token: 'MIIFbAYJKo*****' contexts: - name: internal context: cluster: internalCluster user: ucs-user current-context: internal KubeConfig文件中的关键参数说明如下： 参数名 参数值 说明 是否可选 server 'https://kubernetes.default.svc.cluster.local:443' APIServer的集群内访问地址。由于部分厂商集群对APIServer地址做了外部访问限制，可能导致UCS无法正常接入集群，因此建议使用集群内访问地址。 必选 insecure-skip-tls-verify true 如使用该参数，表示跳过证书认证，参数值必须为true。 二选一 说明： 当server字段为集群内访问地址时，优选跳过证书认证。 certificate-authority-data base64加密字符串 如使用该参数，表示集群开启双向认证，参数值为经base64加密后的服务端证书。 原生K8s集群的服务端证书默认地址为master节点的“/etc/kubernetes/pki/ca.crt”。 token base64加密字符串 用户以token方式进行认证，参数值为4中获取的token值。 三选一 说明： 优选token方式，UCS不支持除这三种方式外的其他认证方式。 client-certificate-data client-key-data base64加密字符串 用户以证书加私钥的方式进行认证。 client-certificate-data：经base64加密后的客户端证书。 client-key-data：经base64加密后的客户端私钥。 username password 字符串 用户通过用户名密码进行认证。 username：访问集群的用户名。 password：用户名对应的密码。 使用5中配置的KubeConfig文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。 使用UCS期间，创建的ServiceAccount、ClusterRole、ClusterRoleBinding对象均不能删除，否则token将会失效。 如集群不再接入UCS，可使用kubectl delete -f ucs-service-account.yaml命令删除UCS创建的SA对象。

Secret资源文件配置说明 本章节主要介绍Secret类型的资源描述文件的配置示例。 例如现在有一个工作负载需要获取账号密码，可以通过Secret来实现： yaml文件格式 定义的Secret文件secret.yaml内容如下。其中Value需要用Base64，Base64编码方法请参见如何进行Base64编码。 apiVersion: v1 kind: Secret metadata: name: mysecret # secret的名称 namespace: default #命名空间，默认为default data: username: bXktdXNlcm5hbWUK #用户名，需要用Base64编码 password: ****** #需要用Base64编码 type: Opaque # type建议不要做修改 json文件格式 定义的Secret文件secret.json内容如下。 { "apiVersion": "v1", "kind": "Secret", "metadata": { "name": "mysecret", "namespace": "default" }, "data": { "username": "bXktdXNlcm5hbWUK", "password": "******" }, "type": "Opaque" }

相关操作 密钥创建完成后，您还可以执行表2中的操作。 kube-system命名空间下的密钥资源不能通过控制台更新，也不能删除，只能查看。 表2 其他操作 操作 说明 编辑YAML 单击密钥名称后的“编辑YAML”，可编辑当前密钥的YAML文件。 更新密钥 选择需要更新的密钥名称，单击“更新”。 根据表1更改信息。 单击“确定”。 删除密钥 选择要删除的密钥，单击“删除”。 根据系统提示删除密钥。 批量删除密钥 勾选需要删除的密钥名称。 单击页面左上角的“批量删除”，删除勾选的密钥。 根据系统提示删除密钥。

创建配置项 登录集群控制台，单击左侧导航栏的“配置与密钥”，选择“配置项”页签。您还可以直接创建配置项或基于YAML来创建，若希望通过YAML创建，请跳转至4。 选择需要创建配置项的命名空间。 直接创建配置项。单击“创建配置项”。 参照表1设置新增配置参数。 表1 新建配置参数说明 参数 参数说明 名称 新建的配置项名称，同一个命名空间里命名必须唯一。 命名空间 新建配置项所在的命名空间，默认为当前查看的命名空间。 描述 配置项的描述信息。 配置项数据 工作负载配置的数据可以在容器中使用，或被用来存储配置数据。 单击 ，输入键、值。其中，“键”代表配置名；“值”代表配置内容。 配置标签 标签以Key/value键值对的形式附加到各种对象上（如工作负载、节点、服务等）。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 输入标签键、值。 单击“确认添加” 。 基于YAML创建配置项。在创建配置项页面右侧单击“YAML创建”。 若需要通过上传文件的方式创建资源，请确保资源描述文件已创建。支持json或yaml格式，详细请参见ConfigMap资源文件配置说明。 您可以导入或直接编写文件内容，格式为YAML或JSON。 方式一：导入编排文件。 单击“导入”，导入格式为YAML或JSON的文件。编排内容中可直接展示YAML或JSON文件的内容。 方式二：直接编排内容。 在编排内容区域框中，输入YAML或JSON文件内容。 配置完成后，单击“确定”。 配置项列表中会出现新创建的配置项。