华为云用户手册

存储迁移 若您的集群使用了云硬盘，跨云迁移可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 若您的集群使用了对象存储，跨云迁移可以使用华为云 对象存储迁移 服务 OMS 。OMS服务是一种线上数据迁移服务，帮助您将其他云服务商对象存储中的数据在线迁移至华为云的 对象存储服务 OBS中。 若您的集群使用了文件存储，跨云迁移可以使用华为云弹性文件服务 SFS，具体请参见数据迁移。

image-migrator使用方法 image-migrator工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的image-migrator-linux-amd64分别替换为image-migrator-linux-arm64或image-migrator-windows-amd64.exe。 在image-migrator工具所在目录下执行./image-migrator-linux-amd64 -h，可以查看image-migrator工具的使用方法。 --auth：指定auth.json的路径，默认在image-migrator所在目录下。 --images：指定images.json的路径，默认在image-migrator所在目录下。 --log：指定image-migrator生成日志的路径，默认是image-migrator当前目录下的image-migrator.log。 --namespace：默认的目标仓库的namespace，也就是说，如果images.json中没有指定目标仓库中的namespace，可以在执行迁移命令时指定。 --registry：默认的目标仓库的registry，也就是说，如果images.json中没有指定目标仓库中的registry，可以在执行迁移命令时指定。 --retries：迁移失败时的重试次数，默认为3。 --workers：镜像搬迁的worker数量（并发数），默认是7。 $ ./image-migrator-linux-amd64 -h A Fast and Flexible docker registry image images tool implement by Go. Usage: image-migrator [flags] Aliases: image-migrator, image-migrator Flags: --auth string auth file path. This flag need to be pair used with --images. (default "./auth.json") -h, --help help for image-migrator --images string images file path. This flag need to be pair used with --auth (default "./images.json") --log string log file path (default "./image-migrator.log") --namespace string default target namespace when target namespace is not given in the images config file, can also be set with DEFAULT_NAMESPACE environment value --registry string default target registry url when target registry is not given in the images config file, can also be set with DEFAULT_REGISTRY environment value -r, --retries int times to retry failed tasks (default 3) -w, --workers int numbers of working goroutines (default 7) $./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test \ --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 $ ./image-migrator Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 示例如下： ./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 该命令表示将“images.json”文件中的镜像迁移至“swr.cn-north-4.myhuaweicloud.com/test”镜像仓库下，迁移失败时可以重试2次，一次可以同时搬迁5个镜像。

镜像迁移操作步骤 准备镜像仓库访问权限文件：auth.json。 新建一个auth.json文件，并按照格式修改，如果是匿名访问仓库，则不需要填写用户名、密码等信息。将文件放置在image-migrator所在目录下。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } 详细的参数说明请参见“auth.json”文件。 准备镜像列表文件：images.json。 通过kubectl连接源集群。具体方法可参考使用kubectl连接集群。 执行镜像迁移config子命令，生成images.json文件。 您可以参考image-migrator config使用方法中的方法和示例，不指定命名空间，或者指定一个、多个命名空间来获取源集群应用中使用的镜像。 根据需求调整images.json文件内容，但要遵循“images.json”文件中所讲的八项要求。 镜像迁移。 您可以执行默认的./image-migrator-linux-amd64命令进行镜像迁移，也可以根据需要设置image-migrator的参数。 例如以下命令： ./image-migrator-linux-amd64 --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 示例： $ ./image-migrator-linux-amd64 Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 结果查看。 上述命令执行完毕后，回显如下类似信息： Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 表示按照配置，成功将38个镜像迁移到SWR仓库中。

image-migrator config使用方法 image-migrator工具的config子命令可用于获取集群应用中使用的镜像，在工具所在目录下生成images.json。执行./image-migrator-linux-amd64 config -h命令可以查看config子命令的使用方法。 -k, --kubeconfig：指定kubectl的KubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定获取镜像的命名空间，多个命名空间用逗号分隔（如：ns1,ns2,ns3)，默认是""，表示获取所有命名空间的镜像。 -t, --repo：指定目标仓库的地址（registry/namespace）。 $ ./image-migrator-linux-amd64 config -h generate images.json Usage: image-migrator config [flags] Flags: -h, --help help for config -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "/root/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -t, --repo string target repo,such as swr.cn-north-4.myhuaweicloud.com/test 示例如下： 指定一个命名空间 ./image-migrator-linux-amd64 config -n default -t swr.cn-north-4.myhuaweicloud.com/test 指定多个命名空间 ./image-migrator-linux-amd64 config -n default,kube-system -t swr.cn-north-4.myhuaweicloud.com/test 不指定命名空间（表示获取所有命名空间的镜像） ./image-migrator-linux-amd64 config -t swr.cn-north-4.myhuaweicloud.com/test

image-migrator工作原理 图1 image-migrator工作原理 使用image-migrator工具将镜像迁移到SWR时，需要准备两个文件，一个为镜像仓库访问权限文件“auth.json”，该文件中的两个对象分别为源镜像仓库和目标镜像仓库（即Registry）的账号和密码；另一个为镜像列表文件“images.json”，文件内容由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。将这两个文件准备好以后，放在image-migrator工具所在目录下，执行一条简单的命令，就可以完成镜像的迁移。关于两个文件的详细介绍如下： “auth.json”文件 “auth.json”为镜像仓库访问权限文件，其中每个对象为一个registry的用户名和密码。通常源镜像仓库需要具有pull以及访问tags权限，目标镜像仓库需要拥有push以及创建仓库权限。如果是匿名访问镜像仓库，则不需要填写用户名、密码等信息。“auth.json”文件的结构如下： { "源镜像仓库地址": { }, "目标镜像仓库地址": { "username": "xxxxxx", "password": "***************", "insecure": true } } 其中，文件内各个参数的描述与填写指导请参见表1。 表1 auth.json文件参数描述 参数 描述 源镜像仓库地址 支持“registry”和“registry/namespace”两种形式，需要跟下述“images.json”中的registry或registry/namespace对应。 说明： images中被匹配到的url会使用对应用户名密码进行镜像同步，优先匹配“registry/namespace”的形式。 目标镜像仓库地址 支持“registry”和“registry/namespace”两种形式，需要跟下述“images.json”中的registry或registry/namespace对应。 若您的镜像仓库为华为云SWR，且目标镜像仓库地址为“registry”形式，可以从SWR控制台页面获取，具体方法如下： 在“总览”页面单击右上角“登录指令”，登录指令末尾的 域名 即为SWR镜像仓库地址，例如swr.cn-north-4.myhuaweicloud.com。注意每个Region的地址不同，请切换到对应Region获取。 如果为“registry/namespace”形式，还要将namespace替换为SWR的组织名称。 若您的镜像仓库为Amazon ECR或ACR，请登录相应厂商的镜像仓库控制台，查看镜像仓库的推送命令，获取相应镜像仓库地址。 username 用户名，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 若您的镜像仓库为华为云SWR，则目标镜像仓库SWR的用户名形式为：区域项目名称@AK。 若您的镜像仓库为Amazon ECR或ACR，请登录相应厂商的镜像仓库控制台，查看镜像仓库的推送命令，获取相应账号。 password 密码，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 若您的镜像仓库为华为云SWR，则目标镜像仓库SWR的密码为AK和SK经过加密处理后的登录密钥，详细指导请参考获取长期有效登录指令。 若您的镜像仓库为Amazon ECR或ACR，请登录相应厂商的镜像仓库控制台，查看镜像仓库的推送命令，获取相应密码。 insecure registry是否为http服务，如果是，insecure为true；默认是false。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } “images.json”文件 该文件本质上是一个待迁移的镜像清单，由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。具体的要求如下： 同步的最大单位是仓库（repository），不支持通过一条规则同步整个namespace以及registry。 源仓库和目标仓库的格式与docker pull/push命令使用的镜像url类似（registry/namespace/repository:tag）。 源仓库和目标仓库（如果目标仓库不为空字符串）都至少包含registry/namespace/repository。 源仓库字段不能为空，如果需要将一个源仓库同步到多个目标仓库需要配置多条规则。 目标仓库名可以和源仓库名不同，此时同步功能类似于：docker pull + docker tag + docker push。 当源仓库字段中不包含tag时，表示将该仓库所有tag同步到目标仓库，此时目标仓库不能包含tag。 当源仓库字段中包含tag时，表示只同步源仓库中的一个tag到目标仓库，如果目标仓库中不包含tag，则默认使用源tag。 当目标仓库为空字符串时，会将源镜像同步到默认registry的默认namespace下，并且repository以及tag与源仓库相同，默认registry和默认namespace可以通过命令行参数以及环境变量配置。 示例如下： { "quay.io/coreos/etcd:1.0.0": "swr.cn-north-4.myhuaweicloud.com/test/etcd:1.0.0", "quay.io/coreos/etcd": "swr.cn-north-4.myhuaweicloud.com/test/etcd", "quay.io/coreos/etcd:2.7.3": "swr.cn-north-4.myhuaweicloud.com/test/etcd" } 使用image-migrator工具的config子命令可自动获取集群中工作负载正在使用的镜像，具体用法请参见image-migrator config使用方法。得到images.json文件后，您还可以根据需要进行修改、添加或删除。

步骤二：目标集群评估 在kspider执行完毕后，除了“cluster-*.json”文件之外，还会在当前目录下生成“preferred-*.json”文件。这个文件基于源集群的规模和节点规格进行初步评估，并提供关于目标集群版本和规模的推荐信息。这有助于您更好地规划和准备迁移过程。 “preferred-*.json”文件说明如下： { K8sVersion：Kubernetes版本，字符串类型 Scale：集群规模，字符串类型 Nodes：节点信息 CPU：CPU，字符串类型 Memory：内存，字符串类型 Arch：架构，字符串类型 KernelVersion：OS内核版本，字符串类型 ProxyMode：集群Proxy模式，字符串类型 ELB：是否依赖ELB，布尔型 } 上述文件中每个字段的评估规则如下： 表1 评估规则 字段 评估规则 Kubernetes版本 如果是1.21以下版本，推荐U CS 集群主要发行版本（例如1.21，随着时间发展会发生变化），大于主要发行版本时，将推荐UCS集群的最新版本。 集群规模 源集群节点数＜25，推荐50节点规模 25≤源集群节点数＜100，推荐200节点规模 100≤源集群节点数＜500，推荐1000节点规模 源集群节点数≥500，推荐2000节点规模 CPU+内存 统计数量最多的那一种规格 架构 统计数量最多的那一种规格 OS内核版本 统计数量最多的那一种规格 集群Proxy模式 根据集群规模来设置，大于1000节点规模的集群，推荐使用ipvs，1000以内的推荐使用iptables。 是否依赖ELB 源集群是否有负载均衡类型的Service 示例： { "K8sVersion": "v1.21", "Scale": 50, "Nodes": { "CPU": "4", "Memory": "7622952Ki", "Arch": "amd64", "KernelVersion": "3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64" }, "ELB": false, "ProxyMode": "iptables" } 评估结果仅供参考，最终选择什么版本、规模的目标集群还需要您综合判断。

kspider使用方法 kspider工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的kspider-linux-amd64分别替换为kspider-linux-arm64或kspider-windows-amd64.exe。 根据容器迁移准备工作章节的要求，准备一台服务器并上传kspider工具，然后进行解压缩。在kspider工具所在目录下执行./kspider-linux-amd64 -h，您可以查看该工具的使用方法。 -k, --kubeconfig：指定kubectl的KubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定采集的命名空间，默认排除了kube-system、kube-public、kube-node-lease等系统命名空间。 -q, --quiet：静态退出。 -s, --serial：根据采集信息输出汇聚文件（cluster-{serial}.json）和推荐文件（preferred-{serial}.json）唯一标识的序号。 $ ./kspider-linux-amd64 -h A cluster information collection and recommendation tool implement by Go. Usage: kspider [flags] Aliases: kspider, kspider Flags: -h, --help help for kspider -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "$HOME/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -q, --quiet command to execute silently -s, --serial string User-defined sequence number of the execution. The default value is the time when the kspider is started. (default "1673853404")

步骤一：源集群数据采集 通过kubectl连接源集群。具体方法可参考使用kubectl连接集群。 使用默认参数配置，采集集群中所有命名空间的数据。执行方法：./kspider-linux-amd64 执行后的输出详细信息如下： [~]# ./kspider-linux-amd64 The Cluster version is v1.15.6-r1-CCE2.0.30.B001 There are 5 Namespaces There are 2 Nodes Name CPU Memory IP Arch OS Kernel MachineID 10.1.18.64 4 8008284Ki [10.1.18.64 10.1.18.64] amd64 linux 3.10.0-1127.19.1.el7.x86_64 ef9270ed-7eb3-4ce6-a2d8-f1450f85489a 10.1.19.13 4 8008284Ki [10.1.19.13 10.1.19.13] amd64 linux 3.10.0-1127.19.1.el7.x86_64 2d889590-9a32-47e5-b947-09c5bda81849 There are 9 Pods There are 0 LonePods: There are 2 StatefulSets: Name Namespace NodeAffinity minio default false minio minio false There are 3 Deployments: Name Namespace NodeAffinity rctest default true flink-operator-controller-manager flink-operator-system false rctest minio false There are 1 DaemonSets: Name Namespace NodeAffinity ds-nginx minio false There are 0 Jobs: There are 0 CronJobs: There are 4 PersistentVolumeClaims: Namespace/Name Pods default/pvc-data-minio-0 default/minio-0 minio/obs-testing minio/ds-nginx-9hmds,minio/ds-nginx-4jsfg minio/pvc-data-minio-0 minio/minio-0 There are 5 PersistentVolumes: Name Namespace pvcName scName size key pvc-bd36c70f-75bf-4000-b85c-f9fb169a14a8 minio-pv obs-testing csi-obs 1Gi pvc-bd36c70f-75bf-4000-b85c-f9fb169a14a8 pvc-c7c768aa-373a-4c52-abea-e8b486d23b47 minio-pv pvc-data-minio-0 csi-disk-sata 10Gi 1bcf3d00-a524-45b1-a773-7efbca58f36a pvc-4f52462b-3b4c-4191-a63b-5a36a8748c05 minio obs-testing csi-obs 1Gi pvc-4f52462b-3b4c-4191-a63b-5a36a8748c05 pvc-9fd92c99-805a-4e65-9f22-e238130983c8 default pvc-data-minio-0 csi-disk 10Gi 590afd05-fc68-4c10-a598-877100ca7b3f pvc-a22fd877-f98d-4c3d-a04e-191d79883f97 minio pvc-data-minio-0 csi-disk-sata 10Gi 48874130-df77-451b-9b43-d435ac5a11d5 There are 7 Services: Name Namespace ServiceType headless-lxprus default ClusterIP kubernetes default ClusterIP minio default NodePort flink-operator-controller-manager-metrics-service flink-operator-system ClusterIP flink-operator-webhook-service flink-operator-system ClusterIP headless-lxprus minio ClusterIP minio minio NodePort There are 0 Ingresses: There are 6 Images: Name gcr.io/flink-operator/flink-operator:v1beta1-6 flink:1.8.2 swr.cn-north-4.myhuaweicloud.com/paas/minio:latest nginx:stable-alpine-perl swr.cn-north-4.myhuaweicloud.com/everest/minio:latest gcr.io/kubebuilder/kube-rbac-proxy:v0.4.0 There are 2 Extra Secrets: SecretType cfe/secure-opaque helm.sh/release.v1 在kspider执行完毕后，当前目录下将生成两个文件： cluster-*.json：此文件包含了源集群及应用的采集数据，这些数据可用于分析和规划迁移过程。 preferred-*.json：此文件包含了推荐的目标集群信息。基于源集群的规模和节点规格进行初步评估，文件将提供关于目标集群版本和规模的建议。 查看源集群及应用的采集数据。 您可以用文本编辑器或JSON查看器打开“cluster-*.json”文件以查看数据。在实际操作中，您需要将文件名中的“*”替换为实际的时间戳或序列号，以找到并打开正确的文件。 “cluster-*.json”文件说明如下： { K8sVersion：Kubernetes版本，字符串类型 Namespaces：命名空间数量，字符串类型 Pods：Pod总数量，整型 Nodes：节点总信息，以IP为key，展示节点信息 IP地址 CPU：CPU，字符串类型 Arch：CPU架构，字符串类型 Memory：内存，字符串类型 HugePages1Gi：1G大页内存，字符串类型 HugePages2Mi：2M大页内存，字符串类型 OS：节点OS，字符串类型 KernelVersion：OS内核版本，字符串类型 RuntimeVersion：节点容器运行及版本，字符串类型 InternalIP：内部IP，字符串类型 ExternalIP：外部IP，字符串类型 MachineID：节点ID，字符串类型。说明：CCE中能够保证与ECS的ID一致 Workloads：工作负载 Deployment：工作负载类型，支持Deployment（无状态负载）、StatefulSet（有状态负载）、DaemonSet（守护进程集）、CronJob（定时任务）、Job（普通任务）、LonePod（独立Pod） default：命名空间名称 Count：数量，整型 Items：详细信息，数组类型 Name：工作负载名称，字符串类型 Namespace：命名空间名称，字符串类型 NodeAffinity：节点亲和性，布尔型 Replicas：副本数量，整型 Storage：存储 PersistentVolumes：持久卷 pv-name：以PV名称为key VolumeID：卷ID，字符串类型 Namespace：命名空间，字符串类型 PvcName：绑定PVC的名称，字符串类型 ScName：存储类的名称，字符串类型 Size：申请空间大小，字符串类型 Pods：使用PV的Pod名称，字符串类型 NodeIP：Pod所在的节点IP，字符串类型 VolumePath：该Pod挂载节点的路径，字符串类型 OtherVolumes：其它类型卷 类型：AzureFile、AzureDisk、GCEPersistentDisk、AWSElasticBlockStore、Cinder、Glusterfs、NFS、CephFS、FlexVolume、FlexVolume、DownwardAPI 卷ID/卷名称/卷共享路径等为key Pods：使用其的Pod，字符串类型 NodeIP：Pod所在的节点IP，字符串类型 卷ID/卷名称/卷共享路径等唯一标识卷信息的信息，字符串类型 Networks：网络 LoadBalancer：负载均衡类型 service：网络类型，包括service和ingress Name：名称，字符串类型 Namespace：命名空间名称，字符串类型 Type：类型，字符串类型 ExtraSecrets：扩展secret类型 secret类型名，字符串类型 Images：镜像 镜像repo，字符串类型 } 示例： { "K8sVersion": "v1.19.10-r0-CCE22.3.1.B009", "Namespaces": 12, "Pods": 33, "Nodes": { "10.1.17.219": { "CPU": "4", "Memory": "7622944Ki", "HugePages1Gi": "0", "HugePages2Mi": "0", "Arch": "amd64", "OS": "EulerOS 2.0 (SP9x86_64)", "KernelVersion": "4.18.0-147.5.1.6.h687.eulerosv2r9.x86_64", "RuntimeVersion": "docker://18.9.0", "InternalIP": "10.1.17.219", "ExternalIP": "", "MachineID": "0c745e03-2802-44c2-8977-0a9fd081a5ba" }, "10.1.18.182": { "CPU": "4", "Memory": "7992628Ki", "HugePages1Gi": "0", "HugePages2Mi": "0", "Arch": "amd64", "OS": "EulerOS 2.0 (SP5)", "KernelVersion": "3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64", "RuntimeVersion": "docker://18.9.0", "InternalIP": "10.1.18.182", "ExternalIP": "100.85.xxx.xxx", "MachineID": "2bff3d15-b565-496a-817c-063a37eaf1bf" } }, "Workloads": { "CronJob": {}, "DaemonSet": { "default": { "Count": 1, "Items": [ { "Name": "kubecost-prometheus-node-exporter", "Namespace": "default", "NodeAffinity": false, "Replicas": 3 } ] } }, "Deployment": { "default": { "Count": 1, "Items": [ { "Name": "kubecost-cost-analyzer", "Namespace": "default", "NodeAffinity": false, "Replicas": 1 } ] }, "kubecost": { "Count": 1, "Items": [ { "Name": "kubecost-kube-state-metrics", "Namespace": "kubecost", "NodeAffinity": false, "Replicas": 1 } ] } }, "Job": {}, "LonePod": {}, "StatefulSet": { "minio-all": { "Count": 1, "Items": [ { "Name": "minio", "Namespace": "minio-all", "NodeAffinity": false, "Replicas": 1 } ] } } }, "Storage": { "PersistentVolumes": { "demo": { "VolumeID": "demo", "Namespace": "fluid-demo-test", "PvcName": "demo", "ScName": "fluid", "Size": "100Gi", "Pods": "", "NodeIP": "", "VolumePath": "" }, "pvc-fd3a5bb3-119a-44fb-b02e-96b2cf9bb36c": { "VolumeID": "82365752-89b6-4609-9df0-007d964b7fe4", "Namespace": "minio-all", "PvcName": "pvc-data-minio-0", "ScName": "csi-disk", "Size": "10Gi", "Pods": "minio-all/minio-0", "NodeIP": "10.1.23.159", "VolumePath": "/var/lib/kubelet/pods/5fc47c82-7cbd-4643-98cd-cea41de28ff2/volumes/kubernetes.io~csi/pvc-fd3a5bb3-119a-44fb-b02e-96b2cf9bb36c/mount" } }, "OtherVolumes": {} }, "Networks": { "LoadBalancer": {} }, "ExtraSecrets": [ "cfe/secure-opaque", "helm.sh/release.v1" ], "Images": [ "nginx:stable-alpine-perl", "ghcr.io/koordinator-sh/koord-manager:0.6.2", "swr.cn-north-4.myhuaweicloud.com/paas/minio:latest", "swr.cn-north-4.myhuaweicloud.com/everest/e-backup-test:v1.0.0", "gcr.io/kubecost1/cost-model:prod-1.91.0", "gcr.io/kubecost1/frontend:prod-1.91.0" ] }

kspider工作原理 kspider工具的架构如图1所示，包含三个模块：采集模块、连接管理和分析模块。采集模块可以收集源集群的数据，包括命名空间、工作负载、节点、网络等；连接管理模块负责与源集群的API Server建立连接；分析模块分为聚合输出和评估推荐两部分，旨在输出源集群的采集数据（生成“cluster-*.json”文件）以及提供目标集群的推荐信息（生成“preferred-*.json”文件）。 图1 kspider架构

第三方云集群跨云迁移流程 UCS容器迁移支持将第三方云Kubernetes托管集群应用迁移到UCS华为云集群或多云集群，实现跨云迁移和统一管理。迁移流程如图1所示。 图1 迁移流程 主要包含四个步骤： 集群评估 在这个阶段，您将根据源集群的现状来评估适合迁移的目标集群类型。UCS的kspider工具能够自动收集源集群的信息，包括Kubernetes版本、规模、工作负载、存储等数据，并根据收集到的数据为您提供推荐的目标集群信息。具体请参见集群评估。 数据迁移 在这个阶段，您将把镜像和相关依赖服务的数据迁移到云端。UCS的image-migrator是一个自动化镜像迁移工具，可以将第三方云镜像仓库中的镜像迁移到SWR中；对于依赖服务的数据迁移，您可以使用华为云的其他云产品来配套实现。具体请参见镜像迁移和依赖服务迁移。 应用备份 在这个阶段，您将对第三方云集群中的应用进行备份。UCS的k8clone工具可以自动收集Kubernetes元数据，并将其以压缩包的形式保存到本地，从而实现集群中应用的备份。具体请参见应用备份。 应用迁移 在这个阶段，您将利用备份数据恢复的方法，将第三方云集群中的应用迁移到UCS华为云集群或多云集群。具体请参见应用迁移。 父主题： 第三方云集群跨云迁移

应用恢复操作步骤 通过kubectl连接目标集群。具体方法可参考使用kubectl连接集群。 准备数据恢复配置文件：restore.json。 新建一个restore.json文件，按照格式修改，并将文件放置在k8clone工具所在目录下。 示例： { "StorageClass": { "csi-disk": "csi-disk-new" }, "ImageRepo": { "quay.io/coreos": "swr.cn-north-4.myhuaweicloud.com/paas" } } 进入k8clone工具所在目录，执行恢复命令，将备份数据恢复到目标集群。 示例： ./k8clone-linux-amd64 restore -d ./k8clone-dump.zip -f ./restore.json

k8clone数据恢复原理 数据恢复的流程参考如下： 图1 数据恢复流程 在执行恢复操作前，需要准备一个数据恢复配置文件“restore.json”，目的是在应用恢复时自动更换PVC、StatefulSet的存储类名称，以及工作负载所使用镜像的Repository地址。 文件内容如下： { "StorageClass": "OldStorageClassName": "NewStorageClassName" //支持修改PVC、StatefulSet的StorageClassName字段 "ImageRepo": "OldImageRepo1": "NewImageRepo1", //eg:"dockerhub.com": "cn-north-4.swr.huaweicloud.com" "OldImageRepo2": "NewImageRepo2", //eg:"dockerhub.com/org1": "cn-north-4.swr.huaweicloud.com/org2" "NoRepo": "NewImageRepo3" //eg:"golang": "swr.cn-north-4.myhuaweicloud.com/paas/golang" } StorageClass：支持PVC、有状态应用VolumeClaimTemplates中存储类名称按照配置进行自动更换。 ImageRepo：支持工作负载所使用镜像的Repository地址的更换，工作负载包括Deployment（含initContainer）、StatefulSet、Orphaned Pod、Job、CronJob、Replica Set、Replication Controller、DaemonSet。

k8clone恢复使用方法 k8clone工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的k8clone-linux-amd64分别替换为k8clone-linux-arm64或k8clone-windows-amd64.exe。 在k8clone工具所在目录下执行./k8clone-linux-amd64 restore -h，可以查看k8clone工具恢复的使用方法。 -k, --kubeconfig：指定kubectl的KubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -s, --api-server：Kubernetes API Server URL，默认是""。 -q, --context：Kubernetes Configuration Context，默认是""。 -f, --restore-conf：指定restore.json的路径，默认是k8clone工具所在目录下。 -d, --local-dir：备份数据放置的路径，默认是k8clone工具所在目录下。 $ ./k8clone-linux-amd64 restore -h ProcessRestore from backup Usage: k8clone restore [flags] Flags: -s, --api-server string Kubernetes api-server url -q, --context string Kubernetes configuration context -h, --help help for restore -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. -d, --local-dir string Where to restore (default "./k8clone-dump.zip") -f, --restore-conf string restore conf file (default "./restore.json") 示例： ./k8clone-linux-amd64 restore -d ./k8clone-dump.zip -f ./restore.json

存储迁移 若您的集群使用本地存储，迁移上云可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 若您的集群对接了对象存储，且需同步搬迁至云上，可以使用华为云对象存储迁移服务 OMS，帮助您将对象存储中的数据在线迁移至华为云对象存储服务 OBS。 若您的集群使用文件存储，迁移上云可以使用华为云弹性文件服务 SFS，具体请参见数据迁移。

image-migrator工作原理 图1 image-migrator工作原理 使用image-migrator工具将镜像迁移到SWR时，需要准备两个文件，一个为镜像仓库访问权限文件“auth.json”，该文件中的两个对象分别为源镜像仓库和目标镜像仓库（即Registry）的账号和密码；另一个为镜像列表文件“images.json”，文件内容由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。将这两个文件准备好以后，放在image-migrator工具所在目录下，执行一条简单的命令，就可以完成镜像的迁移。关于两个文件的详细介绍如下： “auth.json”文件 “auth.json”为镜像仓库访问权限文件，其中每个对象为一个registry的用户名和密码。通常源镜像仓库需要具有pull以及访问tags权限，目标镜像仓库需要拥有push以及创建仓库权限。如果是匿名访问镜像仓库，则不需要填写用户名、密码等信息。“auth.json”文件的结构如下： { "源镜像仓库地址": { }, "目标镜像仓库地址": { "username": "xxxxxx", "password": "***************", "insecure": true } } 其中， “源镜像仓库地址”和“目标镜像仓库地址”支持“registry”和“registry/namespace”两种形式，需要跟下述“images.json”中的registry或registry/namespace对应。images中被匹配到的url会使用对应用户名密码进行镜像同步，优先匹配“registry/namespace”的形式。 目标镜像仓库地址如果为“registry”形式，可以从SWR控制台页面获取，具体方法如下：在“总览”页面单击右上角“登录指令”，登录指令末尾的域名即为SWR镜像仓库地址，例如swr.cn-north-4.myhuaweicloud.com。注意每个Region的地址不同，请切换到对应Region获取。如果为“registry/namespace”形式，还要将namespace替换为SWR的组织名称。 username：（可选）用户名，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 password：（可选）密码，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 insecure：（可选）registry是否为http服务，如果是，insecure为true；默认是false。 目标镜像仓库SWR的用户名形式为：区域项目名称@AK；密码为AK和SK经过加密处理后的登录密钥，详细指导请参考获取长期有效登录指令。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } “images.json”文件 该文件本质上是一个待迁移的镜像清单，由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。具体的要求如下： 同步的最大单位是仓库（repository），不支持通过一条规则同步整个namespace以及registry。 源仓库和目标仓库的格式与docker pull/push命令使用的镜像url类似（registry/namespace/repository:tag）。 源仓库和目标仓库（如果目标仓库不为空字符串）都至少包含registry/namespace/repository。 源仓库字段不能为空，如果需要将一个源仓库同步到多个目标仓库需要配置多条规则。 目标仓库名可以和源仓库名不同，此时同步功能类似于：docker pull + docker tag + docker push。 当源仓库字段中不包含tag时，表示将该仓库所有tag同步到目标仓库，此时目标仓库不能包含tag。 当源仓库字段中包含tag时，表示只同步源仓库中的一个tag到目标仓库，如果目标仓库中不包含tag，则默认使用源tag。 当目标仓库为空字符串时，会将源镜像同步到默认registry的默认namespace下，并且repository以及tag与源仓库相同，默认registry和默认namespace可以通过命令行参数以及环境变量配置。 示例如下： { "quay.io/coreos/etcd:1.0.0": "swr.cn-north-4.myhuaweicloud.com/test/etcd:1.0.0", "quay.io/coreos/etcd": "swr.cn-north-4.myhuaweicloud.com/test/etcd", "quay.io/coreos/etcd:2.7.3": "swr.cn-north-4.myhuaweicloud.com/test/etcd" } 使用image-migrator工具的config子命令可自动获取集群中工作负载正在使用的镜像，具体用法请参见image-migrator config使用方法。得到images.json文件后，您还可以根据需要进行修改、添加或删除。

image-migrator使用方法 image-migrator工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的image-migrator-linux-amd64分别替换为image-migrator-linux-arm64或image-migrator-windows-amd64.exe。 在image-migrator工具所在目录下执行./image-migrator-linux-amd64 -h，可以查看image-migrator工具的使用方法。 --auth：指定auth.json的路径，默认在image-migrator所在目录下。 --images：指定images.json的路径，默认在image-migrator所在目录下。 --log：指定image-migrator生成日志的路径，默认是image-migrator当前目录下的image-migrator.log。 --namespace：默认的目标仓库的namespace，也就是说，如果images.json中没有指定目标仓库中的namespace，可以在执行迁移命令时指定。 --registry：默认的目标仓库的registry，也就是说，如果images.json中没有指定目标仓库中的registry，可以在执行迁移命令时指定。 --retries：迁移失败时的重试次数，默认为3。 --workers：镜像搬迁的worker数量（并发数），默认是7。 $ ./image-migrator-linux-amd64 -h A Fast and Flexible docker registry image images tool implement by Go. Usage: image-migrator [flags] Aliases: image-migrator, image-migrator Flags: --auth string auth file path. This flag need to be pair used with --images. (default "./auth.json") -h, --help help for image-migrator --images string images file path. This flag need to be pair used with --auth (default "./images.json") --log string log file path (default "./image-migrator.log") --namespace string default target namespace when target namespace is not given in the images config file, can also be set with DEFAULT_NAMESPACE environment value --registry string default target registry url when target registry is not given in the images config file, can also be set with DEFAULT_REGISTRY environment value -r, --retries int times to retry failed tasks (default 3) -w, --workers int numbers of working goroutines (default 7) $./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test \ --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 $ ./image-migrator Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 示例如下： ./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 该命令表示将“images.json”文件中的镜像迁移至“swr.cn-north-4.myhuaweicloud.com/test”镜像仓库下，迁移失败时可以重试2次，一次可以同时搬迁5个镜像。

image-migrator config使用方法 image-migrator工具的config子命令可用于获取集群应用中使用的镜像，在工具所在目录下生成images.json。执行./image-migrator-linux-amd64 config -h命令可以查看config子命令的使用方法。 -k, --kubeconfig：指定kubectl的kubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定获取镜像的命名空间，多个命名空间用逗号分隔（如：ns1,ns2,ns3)，默认是""，表示获取所有命名空间的镜像。 -t, --repo：指定目标仓库的地址（registry/namespace）。 $ ./image-migrator-linux-amd64 config -h generate images.json Usage: image-migrator config [flags] Flags: -h, --help help for config -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "/root/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -t, --repo string target repo,such as swr.cn-north-4.myhuaweicloud.com/test 示例如下： 指定一个命名空间 ./image-migrator-linux-amd64 config -n default -t swr.cn-north-4.myhuaweicloud.com/test 指定多个命名空间 ./image-migrator-linux-amd64 config -n default,kube-system -t swr.cn-north-4.myhuaweicloud.com/test 不指定命名空间（表示获取所有命名空间的镜像） ./image-migrator-linux-amd64 config -t swr.cn-north-4.myhuaweicloud.com/test

镜像迁移操作步骤 准备镜像仓库访问权限文件：auth.json。 新建一个auth.json文件，并按照格式修改，如果是匿名访问仓库，则不需要填写用户名、密码等信息。将文件放置在image-migrator所在目录下。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } 详细的参数说明请参见“auth.json”文件。 准备镜像列表文件：images.json。 通过kubectl连接源集群。具体方法可参考使用kubectl连接集群。 执行镜像迁移config子命令，生成images.json文件。 您可以参考image-migrator config使用方法中的方法和示例，不指定命名空间，或者指定一个、多个命名空间来获取源集群应用中使用的镜像。 根据需求调整images.json文件内容，但要遵循“images.json”文件中所讲的八项要求。 镜像迁移。 您可以执行默认的./image-migrator-linux-amd64命令进行镜像迁移，也可以根据需要设置image-migrator的参数。 例如以下命令： ./image-migrator-linux-amd64 --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 示例： $ ./image-migrator-linux-amd64 Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 结果查看。 上述命令执行完毕后，回显如下类似信息： Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 表示按照配置，成功将38个镜像迁移到SWR仓库中。

步骤一：源集群数据采集 通过kubectl连接源集群。具体方法可参考使用kubectl连接集群。 使用默认参数配置，采集集群中所有命名空间的数据。执行方法：./kspider-linux-amd64 执行后的输出详细信息如下： [~]# ./kspider-linux-amd64 The Cluster version is v1.15.6-r1-CCE2.0.30.B001 There are 5 Namespaces There are 2 Nodes Name CPU Memory IP Arch OS Kernel MachineID 10.1.18.64 4 8008284Ki [10.1.18.64 10.1.18.64] amd64 linux 3.10.0-1127.19.1.el7.x86_64 ef9270ed-7eb3-4ce6-a2d8-f1450f85489a 10.1.19.13 4 8008284Ki [10.1.19.13 10.1.19.13] amd64 linux 3.10.0-1127.19.1.el7.x86_64 2d889590-9a32-47e5-b947-09c5bda81849 There are 9 Pods There are 0 LonePods: There are 2 StatefulSets: Name Namespace NodeAffinity minio default false minio minio false There are 3 Deployments: Name Namespace NodeAffinity rctest default true flink-operator-controller-manager flink-operator-system false rctest minio false There are 1 DaemonSets: Name Namespace NodeAffinity ds-nginx minio false There are 0 Jobs: There are 0 CronJobs: There are 4 PersistentVolumeClaims: Namespace/Name Pods default/pvc-data-minio-0 default/minio-0 minio/obs-testing minio/ds-nginx-9hmds,minio/ds-nginx-4jsfg minio/pvc-data-minio-0 minio/minio-0 There are 5 PersistentVolumes: Name Namespace pvcName scName size key pvc-bd36c70f-75bf-4000-b85c-f9fb169a14a8 minio-pv obs-testing csi-obs 1Gi pvc-bd36c70f-75bf-4000-b85c-f9fb169a14a8 pvc-c7c768aa-373a-4c52-abea-e8b486d23b47 minio-pv pvc-data-minio-0 csi-disk-sata 10Gi 1bcf3d00-a524-45b1-a773-7efbca58f36a pvc-4f52462b-3b4c-4191-a63b-5a36a8748c05 minio obs-testing csi-obs 1Gi pvc-4f52462b-3b4c-4191-a63b-5a36a8748c05 pvc-9fd92c99-805a-4e65-9f22-e238130983c8 default pvc-data-minio-0 csi-disk 10Gi 590afd05-fc68-4c10-a598-877100ca7b3f pvc-a22fd877-f98d-4c3d-a04e-191d79883f97 minio pvc-data-minio-0 csi-disk-sata 10Gi 48874130-df77-451b-9b43-d435ac5a11d5 There are 7 Services: Name Namespace ServiceType headless-lxprus default ClusterIP kubernetes default ClusterIP minio default NodePort flink-operator-controller-manager-metrics-service flink-operator-system ClusterIP flink-operator-webhook-service flink-operator-system ClusterIP headless-lxprus minio ClusterIP minio minio NodePort There are 0 Ingresses: There are 6 Images: Name gcr.io/flink-operator/flink-operator:v1beta1-6 flink:1.8.2 swr.cn-north-4.myhuaweicloud.com/paas/minio:latest nginx:stable-alpine-perl swr.cn-north-4.myhuaweicloud.com/everest/minio:latest gcr.io/kubebuilder/kube-rbac-proxy:v0.4.0 There are 2 Extra Secrets: SecretType cfe/secure-opaque helm.sh/release.v1 在kspider执行完毕后，当前目录下将生成两个文件： cluster-*.json：此文件包含了源集群及应用的采集数据，这些数据可用于分析和规划迁移过程。 preferred-*.json：此文件包含了推荐的目标集群信息。基于源集群的规模和节点规格进行初步评估，文件将提供关于目标集群版本和规模的建议。 查看源集群及应用的采集数据。 您可以用文本编辑器或JSON查看器打开“cluster-*.json”文件以查看数据。在实际操作中，您需要将文件名中的“*”替换为实际的时间戳或序列号，以找到并打开正确的文件。 “cluster-*.json”文件说明如下： { K8sVersion：Kubernetes版本，字符串类型 Namespaces：命名空间数量，字符串类型 Pods：Pod总数量，整型 Nodes：节点总信息，以IP为key，展示节点信息 IP地址 CPU：CPU，字符串类型 Arch：CPU架构，字符串类型 Memory：内存，字符串类型 HugePages1Gi：1G大页内存，字符串类型 HugePages2Mi：2M大页内存，字符串类型 OS：节点OS，字符串类型 KernelVersion：OS内核版本，字符串类型 RuntimeVersion：节点容器运行及版本，字符串类型 InternalIP：内部IP，字符串类型 ExternalIP：外部IP，字符串类型 MachineID：节点ID，字符串类型。说明：CCE中能够保证与ECS的ID一致 Workloads：工作负载 Deployment：工作负载类型，支持Deployment（无状态负载）、StatefulSet（有状态负载）、DaemonSet（守护进程集）、CronJob（定时任务）、Job（普通任务）、LonePod（独立Pod） default：命名空间名称 Count：数量，整型 Items：详细信息，数组类型 Name：工作负载名称，字符串类型 Namespace：命名空间名称，字符串类型 NodeAffinity：节点亲和性，布尔型 Replicas：副本数量，整型 Storage：存储 PersistentVolumes：持久卷 pv-name：以PV名称为key VolumeID：卷ID，字符串类型 Namespace：命名空间，字符串类型 PvcName：绑定PVC的名称，字符串类型 ScName：存储类的名称，字符串类型 Size：申请空间大小，字符串类型 Pods：使用PV的Pod名称，字符串类型 NodeIP：Pod所在的节点IP，字符串类型 VolumePath：该Pod挂载节点的路径，字符串类型 OtherVolumes：其它类型卷 类型：AzureFile、AzureDisk、GCEPersistentDisk、AWSElasticBlockStore、Cinder、Glusterfs、NFS、CephFS、FlexVolume、FlexVolume、DownwardAPI 卷ID/卷名称/卷共享路径等为key Pods：使用其的Pod，字符串类型 NodeIP：Pod所在的节点IP，字符串类型 卷ID/卷名称/卷共享路径等唯一标识卷信息的信息，字符串类型 Networks：网络 LoadBalancer：负载均衡类型 service：网络类型，包括service和ingress Name：名称，字符串类型 Namespace：命名空间名称，字符串类型 Type：类型，字符串类型 ExtraSecrets：扩展secret类型 secret类型名，字符串类型 Images：镜像 镜像repo，字符串类型 } 示例： { "K8sVersion": "v1.19.10-r0-CCE22.3.1.B009", "Namespaces": 12, "Pods": 33, "Nodes": { "10.1.17.219": { "CPU": "4", "Memory": "7622944Ki", "HugePages1Gi": "0", "HugePages2Mi": "0", "Arch": "amd64", "OS": "EulerOS 2.0 (SP9x86_64)", "KernelVersion": "4.18.0-147.5.1.6.h687.eulerosv2r9.x86_64", "RuntimeVersion": "docker://18.9.0", "InternalIP": "10.1.17.219", "ExternalIP": "", "MachineID": "0c745e03-2802-44c2-8977-0a9fd081a5ba" }, "10.1.18.182": { "CPU": "4", "Memory": "7992628Ki", "HugePages1Gi": "0", "HugePages2Mi": "0", "Arch": "amd64", "OS": "EulerOS 2.0 (SP5)", "KernelVersion": "3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64", "RuntimeVersion": "docker://18.9.0", "InternalIP": "10.1.18.182", "ExternalIP": "100.85.xxx.xxx", "MachineID": "2bff3d15-b565-496a-817c-063a37eaf1bf" } }, "Workloads": { "CronJob": {}, "DaemonSet": { "default": { "Count": 1, "Items": [ { "Name": "kubecost-prometheus-node-exporter", "Namespace": "default", "NodeAffinity": false, "Replicas": 3 } ] } }, "Deployment": { "default": { "Count": 1, "Items": [ { "Name": "kubecost-cost-analyzer", "Namespace": "default", "NodeAffinity": false, "Replicas": 1 } ] }, "kubecost": { "Count": 1, "Items": [ { "Name": "kubecost-kube-state-metrics", "Namespace": "kubecost", "NodeAffinity": false, "Replicas": 1 } ] } }, "Job": {}, "LonePod": {}, "StatefulSet": { "minio-all": { "Count": 1, "Items": [ { "Name": "minio", "Namespace": "minio-all", "NodeAffinity": false, "Replicas": 1 } ] } } }, "Storage": { "PersistentVolumes": { "demo": { "VolumeID": "demo", "Namespace": "fluid-demo-test", "PvcName": "demo", "ScName": "fluid", "Size": "100Gi", "Pods": "", "NodeIP": "", "VolumePath": "" }, "pvc-fd3a5bb3-119a-44fb-b02e-96b2cf9bb36c": { "VolumeID": "82365752-89b6-4609-9df0-007d964b7fe4", "Namespace": "minio-all", "PvcName": "pvc-data-minio-0", "ScName": "csi-disk", "Size": "10Gi", "Pods": "minio-all/minio-0", "NodeIP": "10.1.23.159", "VolumePath": "/var/lib/kubelet/pods/5fc47c82-7cbd-4643-98cd-cea41de28ff2/volumes/kubernetes.io~csi/pvc-fd3a5bb3-119a-44fb-b02e-96b2cf9bb36c/mount" } }, "OtherVolumes": {} }, "Networks": { "LoadBalancer": {} }, "ExtraSecrets": [ "cfe/secure-opaque", "helm.sh/release.v1" ], "Images": [ "nginx:stable-alpine-perl", "ghcr.io/koordinator-sh/koord-manager:0.6.2", "swr.cn-north-4.myhuaweicloud.com/paas/minio:latest", "swr.cn-north-4.myhuaweicloud.com/everest/e-backup-test:v1.0.0", "gcr.io/kubecost1/cost-model:prod-1.91.0", "gcr.io/kubecost1/frontend:prod-1.91.0" ] }

步骤二：目标集群评估 在kspider执行完毕后，除了“cluster-*.json”文件之外，还会在当前目录下生成“preferred-*.json”文件。这个文件基于源集群的规模和节点规格进行初步评估，并提供关于目标集群版本和规模的推荐信息。这有助于您更好地规划和准备迁移过程。 “preferred-*.json”文件说明如下： { K8sVersion：Kubernetes版本，字符串类型 Scale：集群规模，字符串类型 Nodes：节点信息 CPU：CPU，字符串类型 Memory：内存，字符串类型 Arch：架构，字符串类型 KernelVersion：OS内核版本，字符串类型 ProxyMode：集群Proxy模式，字符串类型 ELB：是否依赖ELB，布尔型 } 上述文件中每个字段的评估规则如下： 表1 评估规则 字段 评估规则 Kubernetes版本 如果是1.21以下版本，推荐UCS集群主要发行版本（例如1.21，随着时间发展会发生变化），大于主要发行版本时，将推荐UCS集群的最新版本。 集群规模 源集群节点数＜25，推荐50节点规模 25≤源集群节点数＜100，推荐200节点规模 100≤源集群节点数＜500，推荐1000节点规模 源集群节点数≥500，推荐2000节点规模 CPU+内存 统计数量最多的那一种规格 架构 统计数量最多的那一种规格 OS内核版本 统计数量最多的那一种规格 集群Proxy模式 根据集群规模来设置，大于1000节点规模的集群，推荐使用ipvs，1000以内的推荐使用iptables。 是否依赖ELB 源集群是否有负载均衡类型的Service 示例： { "K8sVersion": "v1.21", "Scale": 50, "Nodes": { "CPU": "4", "Memory": "7622952Ki", "Arch": "amd64", "KernelVersion": "3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64" }, "ELB": false, "ProxyMode": "iptables" } 评估结果仅供参考，最终选择什么版本、规模的目标集群还需要您综合判断。

kspider使用方法 kspider工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的kspider-linux-amd64分别替换为kspider-linux-arm64或kspider-windows-amd64.exe。 根据容器迁移准备工作章节的要求，准备一台服务器并上传kspider工具，然后进行解压缩。在kspider工具所在目录下执行./kspider-linux-amd64 -h，您可以查看该工具的使用方法。 -k, --kubeconfig：指定kubectl的KubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定采集的命名空间，默认排除了kube-system、kube-public、kube-node-lease等系统命名空间。 -q, --quiet：静态退出。 -s, --serial：根据采集信息输出汇聚文件（cluster-{serial}.json）和推荐文件（preferred-{serial}.json）唯一标识的序号。 $ ./kspider-linux-amd64 -h A cluster information collection and recommendation tool implement by Go. Usage: kspider [flags] Aliases: kspider, kspider Flags: -h, --help help for kspider -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "$HOME/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -q, --quiet command to execute silently -s, --serial string User-defined sequence number of the execution. The default value is the time when the kspider is started. (default "1673853404")

kspider工作原理 kspider工具的架构如图1所示，包含三个模块：采集模块、连接管理和分析模块。采集模块可以收集源集群的数据，包括命名空间、工作负载、节点、网络等；连接管理模块负责与源集群的API Server建立连接；分析模块分为聚合输出和评估推荐两部分，旨在输出源集群的采集数据（生成“cluster-*.json”文件）以及提供目标集群的推荐信息（生成“preferred-*.json”文件）。 图1 kspider架构

本地IDC集群迁移上云流程 UCS容器迁移支持将本地IDC自建的Kubernetes集群应用迁移到UCS华为云集群或本地集群，实现应用程序的云端部署和运维管理。迁移流程如图1所示。 图1 迁移流程 主要包含四个步骤： 集群评估 在这个阶段，您将根据源集群的现状来评估适合迁移的目标集群类型。UCS的kspider工具能够自动收集源集群的信息，包括Kubernetes版本、规模、工作负载、存储等数据，并根据收集到的数据为您提供推荐的目标集群信息。具体请参见集群评估。 数据迁移 在这个阶段，您将把镜像和相关依赖服务的数据迁移到云端。UCS的image-migrator是一个自动化镜像迁移工具，可以将基于Docker Registry v2搭建的Docker镜像仓库中的镜像迁移到SWR中；对于依赖服务的数据迁移，您可以使用华为云的其他云产品来配套实现。具体请参见镜像迁移和依赖服务迁移。 应用备份 在这个阶段，您将对本地IDC集群中的应用进行备份。UCS的k8clone工具可以自动收集Kubernetes元数据，并将其以压缩包的形式保存到本地，从而实现集群中应用的备份。具体请参见应用备份。 应用迁移 在这个阶段，您将利用备份数据恢复的方法，将本地IDC集群中的应用迁移到UCS华为云集群或本地集群。具体请参见应用迁移。 父主题： 本地IDC集群迁移上云

工具包 在集群评估、镜像迁移、应用备份和应用迁移阶段，迁移过程已实现工具化。您需要预先下载这些工具并将它们上传到前述服务器。 对于Linux操作系统来说，使用下述工具前，需要运行chmod u+x 工具名命令（例如chmod u+x kspider-linux-amd64），授予可执行权限。 表1 准备工作 工具 说明 下载链接 备注 kspider kspider是一款用于采集源集群信息的工具，它向用户提供了集群的Kubernetes版本、规模、工作负载数量、存储以及正在使用的镜像等数据，这些信息有助于用户了解集群的当前状况，评估迁移风险，并选择合适的目标集群版本和规模。 Linux x86：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/kspider-linux-amd64 Linux arm：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/kspider-linux-arm64 Windows：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/kspider-windows-amd64.exe 这些工具均支持在Linux（x86、arm）和Windows系统上运行，请根据服务器操作系统类型下载对应的工具。 image-migrator image-migrator是一个镜像迁移工具，能够自动将基于Docker Registry v2搭建的Docker镜像仓库或第三方云镜像仓库中的镜像迁移到SWR中。 Linux x86：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-linux-amd64 Linux arm：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-linux-arm64 Windows：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-windows-amd64.exe k8clone k8clone是一个简便的Kubernetes元数据克隆工具，它可以将Kubernetes元数据（对象）保存为本地压缩包，然后将这些元数据恢复到目标集群中。 Linux x86：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/k8clone-linux-amd64 Linux arm：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/k8clone-linux-arm64 Windows：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/k8clone-windows-amd64.exe

方案优势 UCS容器迁移的主要优势包括： 易用性 在集群评估、镜像迁移、应用备份和应用迁移阶段，迁移过程已实现工具化。这些工具免安装，简单轻量且配置灵活。 多版本 支持Kubernetes 1.19以上版本的集群迁移。 无依赖 迁移工具不需要任何外部依赖，可以独立运行。 多架构 迁移工具支持在Linux（x86、arm）、Windows环境中运行。 多场景 支持多种场景的集群迁移，满足您不同迁移需求，具体如表1所示。 表1 迁移场景 场景 说明 本地IDC集群迁移上云 将位于本地数据中心的Kubernetes集群迁移到华为云UCS管理的Kubernetes集群，实现应用程序的云端部署和运维管理。 第三方云集群跨云迁移 将位于其他云服务提供商的Kubernetes集群迁移到华为云UCS管理的Kubernetes集群，实现跨云迁移和统一管理。 不同Region UCS华为云集群迁移 在华为云UCS管理的Kubernetes集群间进行迁移，将应用程序从一个地理区域迁移到另一个地理区域，以满足数据合规性、延迟和可用性等需求。 同Region UCS华为云集群迁移 在同一地理区域内的华为云UCS管理的Kubernetes集群间进行迁移，实现资源优化、应用升级或其他管理需求。 不停机 迁移过程无需停机，不影响源集群业务。

接入网络模式 对于附着集群，各集群提供商或本地数据中心对于网络入方向的端口规则有差异，防止特定端口外的入站通信。因此UCS使用集群网络代理的连接方式，如图2所示，无需在防火墙上启用任何入方向端口，仅通过集群代理程序的方式在出方向与UCS服务建立会话。 附着集群接入网络的方法有两种，具有不同的优点： 公网接入：具有弹性灵活、成本低、易接入的优点。 私网接入：可获得更加高速、低时延、稳定安全的体验。 图2 集群接入原理

准备网络环境 本地集群的数据接入方式支持公网接入和私网接入。 公网接入是通过公网Internet接入，要求集群能够访问公网，具有弹性灵活、成本低、易接入的优势。如果对网络质量没有要求，只想采用更简便的方式接入，那么公网接入是个不错的选择。 公网接入要求集群能够访问公网，请确保集群已符合此条件，否则会接入失败。 私网接入是通过云专线（DC）或 虚拟专用网络 （VPN）服务将云下网络与云上虚拟私有云（VPC）连通，并利用 VPC终端节点 通过内网与容器智能分析建立连接，具有高速、低时延、安全的优势。 图1 私网接入原理 因此，在开启之前，您需要准备满足一个云上虚拟私有云（VPC），并将线下自有IDC的网络环境与该VPC连通。VPC子网网段不能与IDC中已使用的网络网段重叠，否则将无法接入集群，例如，IDC中已使用的VPC子网为192.168.1.0/24，那么华为云VPC中不能使用192.168.1.0/24这个子网。 网络连通可以选用如下两种方案： 虚拟专用网络（VPN）方案：请参见通过VPN连接云下数据中心与云上VPC。 云专线（DC）方案：请参见用户通过单专线静态路由访问VPC或用户通过单专线BGP协议访问VPC。

准备网络环境 附着集群的数据接入方式支持公网接入和私网接入。 公网接入是通过公网Internet接入，要求集群能够访问公网，具有弹性灵活、成本低、易接入的优势。如果对网络质量没有要求，只想采用更简便的方式接入，那么公网接入是个不错的选择。 公网接入要求集群能够访问公网，请确保集群已符合此条件，否则会接入失败。 私网接入是通过云专线（DC）或虚拟专用网络（VPN）服务将第三方云网络与云上虚拟私有云（VPC）连通，并利用VPC终端节点通过内网与容器智能分析建立连接，具有高速、低时延、安全的优势。 图1 私网接入原理 因此，在开启之前，您需要准备满足一个云上虚拟私有云（VPC），并将第三方云厂商的网络环境与该VPC连通。VPC子网网段不能与第三方云中已使用的网络网段重叠，否则将无法接入集群，例如，第三方云中已使用的VPC子网为192.168.1.0/24，那么华为云VPC中不能使用192.168.1.0/24这个子网。 网络连通可以选用如下两种方案： 虚拟专用网络（VPN）方案：请参见通过VPN连接云下数据中心与云上VPC。 云专线（DC）方案：请参见用户通过单专线静态路由访问VPC或用户通过单专线BGP协议访问VPC。

插件状态说明 kube-prometheus-stack和log-agent插件的状态说明如表1所示。部分状态将影响集群进行监控开启、监控配置修改和监控关闭操作，详见后续章节的约束与限制部分。 表1 插件状态说明 状态 说明 插件未安装 插件未安装 运行中 插件全部实例状态都在运行中，插件正常使用 安装中 插件正在安装中 升级中 插件正在更新中 回滚中 插件正在回滚中 回滚失败 插件回滚失败，可重试回滚或卸载后重新安装 删除中 插件正在删除中 部分就绪 插件下只有部分实例状态为运行中，插件部分功能可用 不可用 插件状态异常，插件不可使用。可单击插件名称查看实例异常事件 安装失败 插件安装失败，需要卸载后重新安装 升级失败 插件升级失败，可重试升级或卸载后重新安装 删除失败 插件删除失败，可重试卸载 未知 插件处于未知状态，需要卸载后重新安装

UCS功能所需的最小权限 华为云各服务之间存在业务交互关系，UCS也依赖其他云服务实现一些功能（如镜像仓库、域名解析），因此，上述四种系统策略经常和其他云服务的角色或策略结合使用，以达到精细化授权的目的。管理员在为 IAM 用户授权时，应该遵循权限最小化的安全实践原则，表1列举了UCS各功能管理员、操作、只读权限所需要的最小权限。 如您的华为云账号为首次登录UCS控制台，需要为其授权，同意授权后，UCS将在 统一身份认证 服务为您创建名为ucs_admin_trust的委托，为保证UCS服务正常使用，请不要删除或者修改该委托。 IAM用户所在用户组未授予任何权限的情况下，您将无法访问UCS控制台，请参考表1授予相关权限。 表1 UCS功能所需的最小权限 功能 权限类型 权限范围 最小权限 容器舰队 管理员权限 创建、删除舰队 注册华为云集群（CCE集群、 CCE Turbo 集群）、本地集群或附着集群 注销集群 将集群加入、移出舰队 为集群或舰队关联权限 开通集群联邦、联邦管理相关操作（如创建联邦工作负载、创建域名访问等） UCS FullAccess 只读权限 查询集群、舰队的列表或详情 UCS ReadOnlyAccess 华为云集群 管理员权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess + CCE Administrator 操作权限 对华为云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + CCE Administrator 只读权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + CCE Administrator 本地/附着/多云/伙伴云集群 管理员权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess 操作权限 本地/附着/多云/伙伴云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + UCS RBAC权限（需要包含namespaces资源对象的list权限） 只读权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + UCS RBAC权限（需要包含namespaces资源对象的list权限） 镜像仓库 管理员权限 容器镜像服务 的所有权限，包括创建组织、上传镜像、查看镜像列表或详情、下载镜像等操作。 SWR Administrator 权限管理 管理员权限 创建、删除权限 查看权限列表或详情 说明： 创建权限需要同时授予子用户IAM ReadOnlyAccess权限（IAM服务的只读权限），用于获取IAM用户列表。 UCS FullAccess + IAM ReadOnlyAccess 只读权限 查看权限列表或详情 UCS ReadOnlyAccess + IAM ReadOnlyAccess 策略中心 管理员权限 启用策略中心 创建、停用策略实例 查看策略列表 查看策略实施详情 UCS FullAccess 只读权限 对于已启用策略中心的舰队和集群，拥有该权限的用户可以查看策略列表和查看策略实施详情。 UCS CommonOperations 或 UCS ReadOnlyAccess 服务网格 管理员权限 应用服务网格的所有权限，包括创建网格、添加集群、sidecar注入、查看网格列表或详情、卸载网格等。 CCE Administrator 流量分发 管理员权限 创建流量策略、暂停调度策略、删除调度策略等操作。 （推荐）UCS CommonOperations + DNS Administrator 或 UCS FullAccess + DNS Administrator 只读权限 查看流量策略列表或详情 UCS ReadOnlyAccess + DNS Administrator 容器智能分析 管理员权限 接入、取消接入集群 查看基础设施、应用负载等多维度监控数据 UCS CIAOperations 云原生服务中心 管理员权限 云原生服务中心的所有权限，包括订阅服务、查看服务列表或详情、创建服务实例、查看实例列表或详情、删除服务实例、退订服务等操作。 UCS FullAccess 只读权限 云原生服务中心的只读权限，包括查看服务列表或详情、查看实例列表或详情等操作。 UCS ReadOnlyAccess