华为云用户手册

漏洞详情 2019年6月18日，Redhat发布安全公告，Linux内核处理器TCP SACK模块存在3个安全漏洞(CVE-2019-11477、CVE-2019-11478、CVE-2019-11479)，这些漏洞与最大分段大小（MSS）和TCP选择性确认（SACK）功能相关，攻击者可远程发送特殊构造的攻击包造成拒绝服务攻击，导致服务器不可用或崩溃。 参考链接： https://www.suse.com/support/kb/doc/?id=7023928 https://access.redhat.com/security/vulnerabilities/tcpsack https://www.debian.org/lts/security/2019/dla-1823 https://wiki.ubuntu.com/SecurityTeam/KnowledgeBase/SACKPanic? https://lists.centos.org/pipermail/centos-announce/2019-June/023332.html https://github.com/Netflix/security-bulletins/blob/master/advisories/third-party/2019-001.md 表1 漏洞信息 漏洞类型 CVE-ID 披露/发现时间 华为云修复时间 输入验证错误 CVE-2019-11477 2019-06-17 2019-07-11 资源管理错误 CVE-2019-11478 2019-06-17 2019-07-11 资源管理错误 CVE-2019-11479 2019-06-17 2019-07-11

约束与限制 metrics-server无法采集到通过bursting插件弹性到CCI 2.0上的Pod的监控数据，可能会影响HPA工作。如果HPA无法正常工作，请参考弹性伸缩进行处理。 从CCE bursting弹到CCI 2.0的pod，与从CCI 2.0前端或API创建的pod，如非必要，命名空间和pod名请勿同时重复，这将导致CCI 2.0侧的pod监控数据异常。从CCE侧查看pod的监控不受影响。

问题一：用户负载无法调度到CCI，登录CCE节点执行kubectl get node发现virtual-kubelet节点状态为不可调度。 问题原因：CCI资源售罄导致弹性到CCI的资源调度失败，bursting节点会被锁定半小时（状态变为SchedulingDisabled），期间无法调度至CCI。 解决方案：用户可通过CCE集群控制台，使用kubectl工具查看bursting节点状态，如果节点被锁定，可手动解锁bursting节点。

方式一：通过配置labels控制pod调度到CCI 通过CCE集群控制台（console）创建pod调度到CCI。通过CCE集群创建工作负载时，选择CCI弹性承载策略配置，选择“不开启”以外的任意策略。 在CCE集群控制台（console）创建工作负载时，CCI弹性承载支持勾选“bursting-node”或者“virtual-kubelet”，如果使用CCI 1.0请勾选“virtual-kubelet”，如果使用CCI 2.0请勾选“bursting-node”。目前CCI 2.0仅对白名单用户开放，如需使用CCI 2.0服务，请提交工单申请开启CCI 2.0服务。 通过yaml文件在CCE集群节点创建pod调度CCI。成功安装bursting插件后，登录CCE集群节点，在工作负载的yaml文件中添加virtual-kubelet.io/burst-to-cci标签。 apiVersion: apps/v1kind: Deploymentmetadata: name: test namespace: default labels: virtual-kubelet.io/burst-to-cci: 'auto' # 弹性到CCIspec: replicas: 2 selector: matchLabels: app: test template: metadata: labels: app: test spec: containers: - image: 'nginx:perl' name: container-0 resources: requests: cpu: 250m memory: 512Mi limits: cpu: 250m memory: 512Mi volumeMounts: [] imagePullSecrets: - name: default-secret

问题三：插件由1.5.18及以上版本回退至低于1.5.18后，Pod通过Service访问出现异常 问题原因：插件升级到1.5.18及以上版本之后，新弹性到CCI的Pod中的sidecar无法兼容1.5.18以下版本的插件，因此插件回退版本后会导致这些Pod中的Service访问异常。插件在低于1.5.18版本时弹性到CCI的Pod不受影响。 解决方案： 方案一：将插件再升级到1.5.18及以上版本。 方案二：将Service访问异常的Pod删除重建，重建后弹性到CCI的Pod Service访问将恢复正常。

约束与限制 当前只有负载的原生标签能够被ScheduleProfile匹配，使负载能够被ScheduleProfile管理，将CCE集群的Pod调度到CCI。例如通过ExtensionProfile加到负载上的标签不能够被ScheduleProfile匹配，因此不会被ScheduleProfile管理调度功能。 当弹性到CCI的资源调度失败时，bursting节点会被锁定半小时，期间无法调度至CCI。用户可通过CCE集群控制台，使用kubectl工具查看bursting节点状态，若节点被锁定，可手动解锁bursting。

方式二：使用profile控制pod调度到CCI 登录集群节点，配置profile资源。 vi profile.yaml 限制CCE集群最大负载数，配置local maxNum和scaleDownPriority的profile模板示例如下： apiVersion: scheduling.cci.io/v1kind: ScheduleProfilemetadata: name: test-cci-profile namespace: defaultspec: objectLabels: matchLabels: app: nginx strategy: localPrefer location: local: maxNum: 20 # 当前暂不支持local/cci同时配置maxNum scaleDownPriority: 10 cci: {} 限制CCI集群最大负载数，配置cci maxNum和scaleDownPriority的profile的模板示例如下： apiVersion: scheduling.cci.io/v1kind: ScheduleProfilemetadata: name: test-cci-profile namespace: defaultspec: objectLabels: matchLabels: app: nginx strategy: localPrefer location: local: {} cci: maxNum: 20 # 当前暂不支持local/cci同时配置maxNum scaleDownPriority: 10 strategy：调度策略选择。可配置策略值：auto、enforce、localPrefer。详情请参见调度策略。 location内可配置线下IDC和云上pod限制数量maxNum和pod缩容优先级scaleDownPriority，maxNum取值范围[0~int32]，scaleDownPriority取值范围[-100, 100]。 local字段和cci字段不可以同时设置maxNum。 缩容优先级为非必填项参数，如果不配置缩容优先级，默认值将为空。

操作步骤 登录云容器实例管理控制台，左侧导航栏中选择“镜像快照”，在右侧页面单击“创建镜像快照”。 添加基本信息。 镜像快照名称 请输入以小写字母或数字开头，小写字母、数字、中划线（-）、点（.）组成（其中两点不能相连，点不能与中划线相连），小写字母或数字结尾的1到63字符的字符串。 开启快照保留时间 打开开关，填写快照保留天数。未开启开关，默认为永久。 快照过期后，仍会占用配额，需定期审核过期镜像快照后删除。 容器镜像 第三方可以直接输入镜像地址，或单击“选择容器镜像”按钮，进入镜像列表，选择镜像。 我的镜像：展示了您上传到 容器镜像服务 的镜像。如果您想要在容器 镜像服务 中上传镜像，请参考客户端上传镜像或页面上传镜像。 如您是 IAM 用户，您需要参考（可选）上传镜像进行权限设置后才可使用账号的私有镜像。 镜像单层解压后的实际大小不能超过20G。 开源镜像中心：展示了镜像中心的公共镜像。 共享镜像：展示了容器镜像服务中他人共享的镜像。 镜像指定完成后，需要选择镜像的版本号。您还可以单击下方“添加容器镜像”按钮，添加多个容器镜像。 镜像快照大小 填写镜像快照大小，最小为10GiB，范围为10-400G。推荐按照所有缓存镜像大小总和的2倍设置快照大小。 添加镜像快照构建信息。 命名空间 选择已有命名空间或单击“创建命名空间”按钮，创建新的命名空间。 如果您要缓存的镜像包含私有镜像仓库，请确保命名空间绑定的vpc与私有镜像仓库网络互通。如需缓存公网镜像，需要命名空间绑定的vpc配置SNAT规则，参考从容器访问公网。 镜像仓库访问凭证 如果您容器里选择的镜像是私有的，请输入所选镜像的仓库地址、用户名、密码，用来拉取镜像。单击“添加凭证”，可添加多个。 勾选“镜像快照默认使用 2核4G 规格的CCI实例进行制作，收取费用为制作过程中产生的费用”。 确认镜像快照配置信息和费用显示正常，单击“确认创建”。

使用第三方镜像拉取用户业务镜像 使用CCI提供的工具创建第三方镜像仓库认证secret。 imagepull-secret-generator --ak=$ak --sk=$sk --private-user=$user --private-password=$password --output-file-path=my-imagepull-secret.json --project-name=region --secret-name=my-imagepull-secret --swr-address=swr.***.com 登录CCE集群节点，为集群创建secret。 kubectl apply -f my-imagepull-secret.json 创建负载，使用secret。 在spec.imagePullSecrets中指定第三方仓库认证secret。 apiVersion: apps/v1kind: Deploymentmetadata: labels: app: test-imagepull virtual-kubelet.io/burst-to-cci: enforce name: test-imagepullspec: replicas: 1 selector: matchLabels: app: test-imagepull template: metadata: labels: app: test-imagepull spec: containers: - image: xxx/my-image:latest imagePullPolicy: Always name: nginx resources: limits: cpu: 1 memory: 2Gi requests: cpu: 1 memory: 2Gi imagePullSecrets: - name: my-imagepull-secret

使用SWR拉取用户业务镜像 方式一：通过console选取SWR镜像 用户镜像上传SWR。使用方式请参考：SWR官方文档。 在华为云CCE控制台创建负载选择镜像。 对接到SWR中的镜像。请确保您的SWR仓库中已正确上传了镜像，SWR服务使用详情请参见：SWR官方文档。 方式二：通过在CCE集群node选取SWR镜像 登录CCE集群节点。 查看SWR镜像仓库中的镜像地址。 获取镜像地址：swr.***.com/cci-test/nginx:1.0.0.x86_64_test。 配置工作负载yaml。 apiVersion: apps/v1kind: Deploymentmetadata: name: test namespace: default labels: virtual-kubelet.io/burst-to-cci: 'auto' # 弹性到CCIspec: replicas: 2 selector: matchLabels: app: test template: metadata: labels: app: test spec: containers: - image: swr.***.com/cci-test/nginx:1.0.0.x86_64_test name: container-0 resources: requests: cpu: 250m memory: 512Mi limits: cpu: 250m memory: 512Mi volumeMounts: [] imagePullSecrets: - name: default-secret 部署工作负载。 kubectl apply -f dep.yaml

漏洞详情 Kubernetes官方发布安全漏洞CVE-2020-8557，CVSS Rating: Medium (5.5) CVSS:3.1/AV:L/AC:L/PR:L/UI:N/S:U/C:N/I:N/A:H/CR:H/IR:H/AR:M。 漏洞源于kubelet的驱逐管理器（eviction manager）中没有包含对Pod中挂载的/etc/hosts文件的临时存储占用量管理，因此在特定的攻击场景下，一个挂载了/etc/hosts的Pod可以通过对该文件的大量数据写入占满节点的存储空间，从而造成节点的拒绝访问（Denial of Service）。 参考链接：https://github.com/kubernetes/kubernetes/issues/93032

cci_admin_trust委托说明 cci_admin_trust委托具有Tenant Administrator权限。Tenant Administrator拥有除IAM管理外的全部云服务管理员权限，用于对CCI所依赖的其他云服务资源进行调用，且该授权仅在当前区域生效。 由于CCI对其他云服务有许多依赖，如果没有Tenant Administrator权限，可能会因为某个服务权限不足而影响CCI功能的正常使用。因此在使用CCI服务期间，请不要自行删除或者修改cci_admin_trust委托。

操作步骤 账号A委托账号B以联邦用户的身份管理账号A中的资源，需要完成以下步骤： 创建委托（委托方操作） 登录委托方（账号A）IAM控制台创建委托，需要填写被委托方（账号B）的账号名称，并授予被委托方（账号B）云容器实例所有权限“CCI FullAccess”，拥有该权限的用户可以执行云容器实例所有资源的创建、删除、查询、更新操作。 为委托账号授权命名空间权限（委托方操作） 进入委托方（账号A）的CCI控制台，在权限管理页面为被委托方（账号B）授予命名空间下资源的权限，通过权限设置可以让不同的委托账号拥有操作指定Namespace下Kubernetes资源的权限。 联邦身份认证（被委托方操作） 登录被委托方（账号B），在被委托方（账号B）中进行联邦身份认证操作。 在委托联邦用户管理资源之前，需对被委托方进行联邦身份认证，联邦身份认证过程主要分为两步：建立互信关系并创建身份提供商和在华为云配置身份转换规则。 创建身份提供商时，会创建出默认的身份转换规则，用户需要单击“编辑规则”将默认的身份转换规则更新掉，或者将默认的身份转换规则删除，重新创建新的规则。如果默认的身份转换规则在没有删掉的情况下直接添加新规则，可能会匹配上这条默认规则，添加的新规则就会不生效。 分配委托权限（被委托方操作） 如果被委托方（账号B）下的子用户想要切换委托，就必须由被委托方（账号B）分配委托权限。因此，为了使得联邦用户拥有管理委托方（账号A）资源的权限，就需要被委托方（账号B）授予联邦用户所在用户组（federation_group）自定义策略“federation_agency”。“federation_group”用户组为联邦用户所在的用户组，也是配置身份转换规则时，写入规则中的联邦用户组。 切换角色（被委托方操作） 账号B以及分配了委托权限的联邦用户，可以切换角色至委托方账号A中，根据权限管理委托方的资源。

约束与限制 使用场景 使用说明 CCE内容器日志采集 + CCI集群容器日志采集 CCE集群内的工作负载支持三种日志采集类型： 容器标准输出：采集集群内指定容器日志，仅支持Stderr和Stdout的日志。 容器文件日志：采集集群内指定容器内的文件日志。 节点文件日志：采集集群内指定节点路径的文件。 须知： 弹性到CCI的工作负载仅支持“容器文件日志”类型的采集策略。 不支持采集的日志文件类型 不支持容器中软链路径的日志采集。 pod通过指定系统、设备、cgroup、tmpfs等挂载目录下的日志无法被采集。 弹性CCI的pod关联多个日志采集策略 为了更好的采集日志，建议为pod预留充足内存。pod被第一个日志策略关联请预留至少50MiB内存。每增加一个关联日志采集策略，建议多预留5MiB内存。 超长日志采集 单条日志最大容量为250KB，超过会被丢弃。 日志采集文件名 audit.log，oss.icAgent.trace，oss.script.trace，audit_*.log这几类日志默认不采集，请勿使用以上几类名称命名采集日志文件。 超长日志文件名 容器中长度超过190的日志文件无法被采集。容器中长度在180~190范围的日志文件仅支持采集第一个文件。 日志采集速率 单个Pod单行日志采集速率不超过10000条/秒，多行日志不超过2000条/秒。 最大采集文件数 单个Pod所有日志采集策略监听的文件数不超过2000个文件。 容器停止前日志采集 当容器被停止时，如果出现因网络延迟、资源占用多等原因导致的采集延时，可能会丢失容器停止前的部分日志。

操作步骤 安装“云原生日志采集插件”和“CCE 突发弹性引擎 (对接 CCI)”插件。 登录CCE控制台。 选择CCE集群，单击进入CCE集群总览页面。 在导航栏左侧单击“插件中心”，进入插件中心首页。 选择“CCE 突发弹性引擎 (对接 CCI)”插件，单击“安装”。 在安装配置中需要勾选“网络互通”功能。 选择“云原生日志采集插件”，单击“安装”。 创建弹性到CCI的负载。 在导航栏左侧单击“工作负载”，进入工作负载首页。 单击“创建工作负载”，具体操作步骤详情请参见创建工作负载。 填写基本信息并完成工作负载创建。更多创建弹性到CCI负载的方式，请参考调度负载到CCI。 配置日志采集策略。 在导航栏左侧单击“日志中心”，进入日志中心首页。 单击“日志采集策略”，进入日志采集策略创建的界面。 配置具体日志采集策略，完成后单击“确定”。 弹性到CCI的Pod不支持日志策略热更新，更新日志采集策略后需要重新部署弹性到CCI的Pod才可生效。 查看弹性到CCI的pod yaml。 为支持CCI pod日志被采集到日志中心，CCE插件CCE Log Collector为pod注入了如下四个annotation： annotation 示例值 coordinator.cci.io/inject-volumes '[{"name":"log-agent-conf","configMap":{"name":"log-agent-cci-logging-config","defaultMode":384},"namespace":"monitoring"},{"name":"log-agent-cert","secret":{"secretName":"log-agent-ca-secret","defaultMode":384},"namespace":"monitoring"}]' logconf.k8s.io/fluent-bit-configmap-reference monitoring-log-agent-cci-logging-config logconfigs.logging.openvessel.io '{"testcci001":{"container_files":{"container-1":"/var/test/*/*.log"},"regulation":""}}'' sandbox-volume.openvessel.io/volume-names log-agent-conf,log-agent-cert 在日志中心查看日志上报。 CCE集群日志中心更详细的用法可以参考CCE插件CCE Log Collector相关文档指导。

简介 CCE集群成功将负载弹性到CCI运行起负载后，用户可以通过CCE的“CCE Log Collector”插件来收集pod的日志，提升工作负载的可观测性。通过阅读本章用户可以快速搭建日志平台，在CCE的日志观测CCI侧日志。 弹性到CCI的负载会默认开启容器标准输出采集并上报到 应用运维管理 ， AOM 每月赠送每个租户500M的免费日志存储空间，超过500M时将根据实际使用量进行收费，计费规则请参见产品价格详情。 若要关闭标准输出采集可通过在Pod annotation中指定log.stdoutcollection.kubernetes.io: '{"collectionContainers": []}'实现，参考示例： kind: DeploymentapiVersion: apps/v1metadata: name: test namespace: defaultspec: replicas: 1 template: metadata: annotations: log.stdoutcollection.kubernetes.io: '{"collectionContainers": []}' spec: containers: - name: container-1 image: nginx:latest

添加日志存储 在创建负载的时候设置为容器添加日志存储。 容器内日志路径：即日志存储挂载到容器内的挂载路径，需要保证应用程序的日志输出路径与该路径一致，这样日志才能写入到日志存储卷中。 请确保日志存储卷路径在当前容器内是不存在的，否则会把容器内这个路径下的内容清空。 目前只支持日志路径下的“.log”、“.trace”、“.out”日志文件。 最多只能采集20个日志文件，也就是说您的日志最多只能输出到日志路径下的20个文件中。 日志存储空间：日志的存储空间大小。 AOM每月赠送每个租户500M的免费日志存储空间，超过500M时将根据实际使用量进行收费，计费规则请参见产品价格详情。 日志存储空间取值请确保为1或2，后台调api接口创建负载时，请确保取值为1GiB或2GiB。 该空间为免费空间，超时不采集，如果日志文件超过2G，请您提前做好转储。 图2 使用日志存储

设置容器生命周期 云容器实例基于Kubernetes，提供了容器生命周期钩子，在容器的生命周期的特定阶段执行调用，比如容器在停止前希望执行某项操作，就可以注册相应的钩子函数。目前提供的生命周期钩子函数如下所示。 启动后处理（PostStart）：容器启动后触发。 停止前处理（PreStop）：容器停止前触发。 当前云容器实例仅支持命令行类型（Exec）钩子函数。 登录云容器实例控制台，在创建负载配置生命周期过程中，选择“启动后处理”或者“停止前处理”页签。 例如需要在容器中执行“/postStart.sh all”命令，则在界面上做如下配置即可，第一行是命令行脚本名称，第二行是参数。 图1 命令行脚本

CCI自定义策略样例 示例1：更新命名空间 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "cci:namespace:update" ] } ]} 示例2：拒绝用户删除命名空间 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先原则。 如果您给用户授予CCIFullAccess的系统策略，但不希望用户拥有CCIFullAccess中定义的删除命名空间权限（cci:namespace:delete），您可以创建一条相同Action的自定义策略，并将自定义策略的Effect设置为Deny，然后同时将CCIFullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对CCI执行除了删除命名空间外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Action": [ "cci:namespace:delete" ], "Effect": "Deny" } ]} 示例3：多个授权项策略 一个自定义策略中可以包含多个授权项，且除了可以包含本服务的授权项外，还可以包含其他服务的授权项，可以包含的其他服务必须跟本服务同属性，即都是项目级服务或都是全局级服务。多个授权语句策略描述如下： { "Version": "1.1", "Statement": [ { "Action": [ "ecs:cloudServers:resize", "ecs:cloudServers:delete", "ecs:cloudServers:delete", "ims:images:list", "ims:serverImages:create" ], "Effect": "Allow" } ]}

容器启动命令 启动容器就是启动主进程，但有些时候，启动主进程前，需要一些准备工作。比如MySQL类的数据库，可能需要一些数据库配置、初始化的工作，这些工作要在最终的MySQL服务器运行之前解决。这些操作，可以在制作镜像时通过在Dockerfile文件中设置ENTRYPOINT或CMD来完成，如下所示的Dockerfile中设置了ENTRYPOINT ["top", "-b"]命令，其将会在容器启动时执行。 FROM ubuntuENTRYPOINT ["top", "-b"] 启动命令必须为容器镜像支持的命令，否则会导致容器启动失败。 在云容器实例中同样可以设置容器的启动命令，例如上面Dockerfile中的命令，只要在创建负载时配置容器的高级设置，先单击“添加”，输入“top”命令，再单击“添加”，输入参数“-b”，如下图所示。 图1 启动命令 由于容器引擎运行时只支持一条ENTRYPOINT命令，云容器实例中设置的启动命令会覆盖掉制作镜像时Dockerfile中设置的ENTRYPOINT和CMD命令，其规则如下表所示。 镜像Entrypoint 镜像CMD 容器运行命令 容器运行参数 最终执行 [touch] [/root/test] 未设置 未设置 [touch /root/test] [touch] [/root/test] [mkdir] 未设置 [mkdir] [touch] [/root/test] 未设置 [/opt/test] [touch /opt/test] [touch] [/root/test] [mkdir] [/opt/test] [mkdir /opt/test] 父主题： 工作负载

查看Pod 有时，您也许会通过调用创建Pod接口或者使用kubectl直接创建Pod，这些Pod并不在某个负载或任务之下，不方便通过控制台管理。云容器实例提供了Pod管理功能，您可以通过“选择来源”更方便找到需要的Pod。 图2 选择Pod来源 您可以查看到所有Pod详情，包括基本信息、Pod中容器组成、Pod的监控信息、事件，以及使用远程终端访问Pod。您还可以对Pod进行删除操作，并查看Pod的日志。 图3 Pod详情

什么是Pod Pod是Kubernetes创建或部署的最小单位。一个Pod封装一个或多个容器（container）、存储资源（volume）、一个独立的网络IP以及管理控制容器运行方式的策略选项。 Pod使用主要分为两种方式： Pod中运行一个容器。这是Kubernetes最常见的用法，您可以将Pod视为单个封装的容器，但是Kubernetes是直接管理Pod而不是容器。 Pod中运行多个需要耦合在一起工作、需要共享资源的容器。通常这种场景下是应用包含一个主容器和几个辅助容器（SideCar Container），如图1所示，例如主容器为一个web服务器，从一个固定目录下对外提供文件服务，而辅助的容器周期性的从外部下载文件存到这个固定目录下。 图1 Pod 实际使用中很少直接创建Pod，而是使用Kubernetes中称为Controller的抽象层来管理Pod实例，例如Deployment和Job。Controller可以创建和管理多个Pod，提供副本管理、滚动升级和自愈能力。通常，Controller会使用Pod Template来创建相应的Pod。

网络访问概述 负载访问可以分为如下几种场景： 内网访问：访问内网资源。 使用“Service”方式访问：该方式适合CCI中同一个命名空间中的负载相互访问。 使用ELB（私网）访问：该方式适合云服务内部资源（云容器实例以外的资源，如E CS 等）且与负载在同一个VPC内互相访问，另外在同一个VPC不同命名空间的负载也可以选择此种方式。通过内网 域名 或ELB的“IP:Port”为内网提供服务，支持HTTP/HTTPS和TCP/UDP协议。如果是内网且与负载不在同一个VPC内，也可以选择创建VPC对等连接，使得两个VPC之间网络互通。 公网访问：即给负载绑定ELB（ELB必须与负载在同一个VPC内），通过ELB从公网访问负载。 从容器访问公网：通过在NAT网关服务中配置SNAT规则，使得容器能够访问公网。 图1 网络访问示意图 父主题： 负载网络访问

PersistentVolumeClaim（PVC） 云容器实例使用PVC申请并管理持久化存储，PVC可以让您无需关心底层存储资源如何创建、释放等动作，而只需要申明您需要何种类型的存储资源、多大的存储空间。 在实际使用中，您可以通过Pod中的Volume来关联PVC，通过PVC使用持久化存储，如图1所示。 图1 使用持久化存储 在云容器实例控制台，您可以导入已经创建的EVS、SFS和SFS Turbo，导入这些存储资源的同时会创建一个PVC用于这些存储资源。 您还可以在云容器实例控制台直接购买EVS和SFS，购买动作不仅购买实际的存储资源，同时还会创建PVC，也就是在这里购买就会直接导入到云容器实例中。

资源使用说明 CCE集群+bursting的使用场景涉及到华为云周边服务的搭配使用，如下表格详细描述了涉及到的周边服务。 涉及服务 资源说明 备注 CCI 插件会在CCI服务新建一个名为“cce-burst-”+“CCE集群ID”的命名空间。 不建议直接在CCI服务使用该命名空间，如需使用CCI服务，请另外新建命名空间。 CCI服务命名空间不产生计费。 CCE CCE侧的工作负载、Secret、Congfigmap、PV、PVC会同步到CCI，同时也占用CCE节点的资源。 CCE集群资源规模1000 pod+1000 configmap建议申请2U4G节点规格。 CCE集群资源规模2000 pod+2000 configmap建议申请4U8G节点规格。 CCE集群资源规模4000 pod+4000 configmap建议申请8U16G节点规格。 ELB 开启“支持CCE集群pod与CCI集群pod通过service互通”功能bursting插件会自动创建ELB资源。 创建共享型性能保障规格的ELB，名称为cce-lb-xxx。 当卸载插件时，该ELB资源也会被自动清除。 VPC 弹性CCI的负载共享使用CCE集群所在VPC。 CCI命名空间Service网段为10.247.0.0/16，CCE集群的VPC子网网段请避开该网段。 SWR 创建弹性到CCI的工作负载选择镜像时，直接对接华为云SWR服务。 创建负载请确认镜像已被正确上传至您的SWR仓库。

Pod annotation CCE集群+bursting的使用场景涉及到自定义注解，相关注解含义如下表所示。 annotation key 描述 相关文档 scheduling.cci.io/managed-by-profile 标记当前pod被哪个profile资源管理。 调度负载到CCI virtual-kubelet.cci.io/burst-pod-cpu 标记弹性后规整的cpu资源。 资源配额 virtual-kubelet.cci.io/burst-pod-memory 标记弹性后规整的memory资源。 资源配额 coordinator.cci.io/inject-volumes CCI pod日志采集相关，日志采集插件注入。 日志 logconf.k8s.io/fluent-bit-configmap-reference CCI pod日志采集相关，日志采集插件注入。 日志 logconfigs.logging.openvessel.io CCI pod日志采集相关，日志采集插件注入。 日志 sandbox-volume.openvessel.io/volume-names CCI pod日志采集相关，日志采集插件注入。 日志 coordinator.cci.io/image-replacement 镜像地址前缀替换相关。 镜像

功能概览 使用CCE集群+bursting基于如下模型，用户需要重点关注下发负载和调度。 下发负载涉及到用户给负载进行的配置项，和用户自身的业务高度相关。 工作负载配置项 功能描述 功能规格 相关文档拓展 调度 用户可以通过多种方式来管理CCE集群的工作负载，来控制其调度到CCI服务。通过合理的调度策略配置，提升用户集群的资源利用率。 支持4种调度策略。 支持2种管理调度策略的方式。 支持多个虚拟节点调度。 调度负载到CCI 资源配额 用户通过配置pod的cpu、memory等字段约束容器使用资源规格和上限。插件对资源规格进行规整，尽可能为用户降低成本。 提供对pod资源配额进行规整的能力。 资源配额 镜像 用户通过镜像配置自身业务镜像，将自己的业务容器运行在华为云CCE集群+CCI服务上。 支持修改镜像配置方式。 支持原地升级镜像。 镜像 存储 用户通过存储相关的配置为工作负载外挂存储卷，以完成业务中数据持久存储的诉求。 支持多种存储类型。 支持替换工作负载hostpath配置方式。 存储 网络 用户通过网络配置规划CCE集群和CCI集群之间的网络拓扑。 支持CCI侧负载通过service发布。 支持CCE集群pod与CCI集群中pod通过service互通。 支持指定cluster-dns。 支持pod绑定全域弹性公网ip。 网络 日志 用户可以通过同时安装CCE Log Collector插件和bursting插件，采集CCI侧工作负载的日志。 支持弹性CCI的负载通过CCE Log Collector上报日志。 支持日志自动转储。 日志 监控 用户可以通过配置插件对接监控平台，提升弹性CCI工作负载的可观测性。 支持对接AOM。 支持对接普罗米修斯。 监控

资源规整用例说明 资源规格 （CPU MEM） 规整后规格（CPU MEM） 说明 37U 37Gi 无法创建pod弹性到CCI。 CPU规格无效。 30U 257Gi 无法创建pod弹性到CCI。 存算比大于8，提高CPU。但无法满足CPU规格有效，拦截。 0.35U 0.5Gi 0.5U 1Gi CPU向上取整0.25的整数倍，MEM向上取整1的整数倍。存算比符合要求，不做调整。 0.35U 1.5Gi 0.5U 2Gi CPU向上取整0.25的整数倍，MEM向上取整1的整数倍。存算比符合要求，不做调整。 0.45U 18Gi 2.25U 18Gi CPU向上取整0.25的整数倍，MEM向上取整1的整数倍。存算比大于8，提高CPU。 2U 2Gi 2U 4Gi 存算比小于2，提高MEM。

资源规整算法 假设根据pod资源规格算法求得CPU（core）、Memory（Gi），则自动规整规则如下： 将Pod中除了BestEffort的每个应用容器和初始化容器的CPU向上调整至0.25核的整数倍， Memory向上调整至大于等于0.2Gi。 CCE突发弹性引擎（对接 CCI）插件1.5.16版本及之后，不再进行容器级别的向上规整，仅进行pod级别的向上规整。 若此时Pod的CPU大于32u或者Memory大于256Gi，则不再继续进行自动调整，否则将继续调整。 将整个pod的CPU配额向上调整至0.25核的整数倍，Memory配额向上调整至1Gi的整数倍。 若pod Memory/CPU的比值小于2，需将pod Memory向上调整至大于等于CPU的2倍，且满足是1Gi的整数倍。 若pod Memory/CPU的比值大于8，需将pod CPU向上调整至大于等于Memory的1/8，且满足是0.25核的整数倍。 以上对pod级别资源向上调整造成的增量CPU和Memory，全部添加到Pod中第一个不为BestEffort的容器上。 BestEffort容器是指没有配置Requests和Limits的容器。 经过资源自动规整后，Pod规格约束： pod的CPU取值在0.25核~32核范围内，或者等于48核或64核，并且要求值为0.25的整数倍。 Memory在1Gi~256Gi范围内，或者等于384Gi或512Gi，且Memory是整数。 满足Memory/CPU配比值在2~8之间。 用户可以通过CCE侧的pod的annotation查看规整后的规格。 virtual-kubelet.cci.io/burst-pod-cpu: 0.5u virtual-kubelet.cci.io/burst-pod-memory: 1Gi

pod资源规格算法 弹性CCI的pod规格，根据container资源的Requests和Limits计算，调整至CCI允许范围。 pod规格的计算方式遵循如下规则： 所有应用容器和初始化容器对某个资源的Requests和Limits均会被设置为相等的值，如果配置了Limits，则取Limits值；如果没有配Limits，则取Requests值。 pod对某个资源的Requests和Limits，是取如下两项的较大者： 所有应用容器对某个资源的Limits之和。 所有初始化容器Limits的最大值。 Pod规格约束： Pod的CPU需大于0。 经过资源自动规整后，Pod的CPU在0.25核~32核范围内，或者等于48核或64核；Memory在1Gi~512Gi范围内，且必须为1Gi的整数倍，且满足CPU/Memory配比值在1:2~1:8之间。