华为云用户手册

相关操作 密钥创建完成后，您还可以执行表2中的操作。 密钥列表中包含系统密钥资源，系统密钥资源不可更新，也不能删除，只能查看。 表2 其他操作 操作 说明 编辑YAML 单击密钥名称后的“编辑YAML”，可编辑当前密钥的YAML文件。 更新密钥 选择需要更新的密钥名称，单击“更新”。 根据表1更改信息。 单击“确定”。 删除密钥 选择要删除的密钥，单击“删除”。 根据系统提示删除密钥。 批量删除密钥 勾选需要删除的密钥名称。 单击页面左上角的“批量删除”，删除选中的密钥。 根据系统提示删除密钥。

操作步骤 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“配置与密钥”，选择“密钥”页签，在右上角单击“创建密钥”。 填写参数。 表1 基本信息说明 参数 参数说明 名称 新建的密钥的名称，同一个命名空间内命名必须唯一。 命名空间 新建密钥所在的命名空间，默认为default。 描述 密钥的描述信息。 密钥类型 新建的密钥类型。 Opaque：一般密钥类型。 kubernetes.io/dockerconfigjson：存放拉取私有仓库镜像所需的认证信息。 kubernetes.io/tls：Kubernetes的TLS密钥类型，用于存放7层负载均衡服务所需的证书。kubernetes.io/tls类型的密钥示例及说明请参见TLS Secret。 IngressTLS：CCE提供的TLS密钥类型，用于存放7层负载均衡服务所需的证书。 其他：若需要创建其他类型的密钥，请手动输入密钥类型。 密钥数据 工作负载密钥的数据可以在容器中使用。 当密钥为Opaque类型时，单击，在弹出的窗口中输入键值对，并且可以勾选“自动Base64转码”。 当密钥为kubernetes.io/dockerconfigjson类型时，输入私有镜像仓库的账号和密码。 当密钥为kubernetes.io/tls或IngressTLS类型时，上传证书文件和私钥文件。 说明： 证书是自签名或CA签名过的凭据，用来进行身份认证。 证书请求是对签名的请求，需要使用私钥进行签名。 密钥标签 密钥的标签。键值对形式，输入键值对后单击“确认添加”。 配置完成后，单击“确定”。 密钥列表中会出现新创建的密钥。

创建ClusterIP类型Service 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“服务”，在右上角单击“创建服务”。 设置集群内访问参数。 Service名称：自定义服务名称，可与工作负载名称保持一致。 访问类型：选择“集群内访问”。 命名空间：工作负载所在命名空间。 选择器：添加标签，Service根据标签选择Pod，填写后单击“确认添加”。也可以引用已有工作负载的标签，单击“引用负载标签”，在弹出的窗口中选择负载，然后单击“确定”。 IPv6：默认不开启，开启后服务的集群内IP地址（ClusterIP）变为IPv6地址，具体请参见如何通过CCE搭建IPv4/IPv6双栈集群？。该功能仅在1.15及以上版本的集群创建时开启了IPv6功能才会显示。 端口配置： 协议：请根据业务的协议类型选择。 服务端口：Service使用的端口，端口范围为1-65535。 容器端口：工作负载程序实际监听的端口，需用户确定。例如nginx默认使用80端口。 单击“确定”，创建Service。

修改CoreDNS Hosts配置 在CoreDNS中修改hosts后，可以不用单独在每个Pod中配置hosts添加解析记录。 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“插件中心”，在CoreDNS下单击“编辑”，进入插件详情页。 在“参数配置”下编辑高级配置，在plugins字段添加以下内容。 { "configBlock": "192.168.1.1 www.example.com\nfallthrough", "name": "hosts" } 此处配置不能遗漏fallthrough字段，fallthrough表示当在hosts找不到要解析的 域名 时，会将解析任务传递给CoreDNS的下一个插件。如果不写fallthrough的话，任务就此结束，不会继续解析，会导致集群内部域名解析失败的情况。 hosts的详细配置请参见https://coredns.io/plugins/hosts/。 图2 修改CoreDNS Hosts配置 单击“确定”完成配置更新。 在左侧导航栏中选择“配置与密钥”，在“kube-system”命名空间下，查看名为coredns的配置项数据，确认是否更新成功。 对应Corefile内容如下： .:5353 { bind {$POD_IP} hosts { 192.168.1.1 www.example.com fallthrough } cache 30 errors health {$POD_IP}:8080 kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa } loadbalance round_robin prometheus {$POD_IP}:9153 forward . /etc/resolv.conf { policy random } reload ready {$POD_IP}:8081 }

添加CoreDNS Rewrite配置指向域名到集群内服务 使用 CoreDNS 的 Rewrite 插件，将指定域名解析到某个 Service 的域名。例如，将访问example.com域名的请求重新指向到example.default.svc.cluster.local域名，即指向到default命名空间下的example服务。 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“插件中心”，在CoreDNS下单击“编辑”，进入插件详情页。 在“参数配置”下编辑高级配置，在plugins字段添加以下内容。 { "name": "rewrite", "parameters": "name example.com example.default.svc.cluster.local" } 图3 添加CoreDNS Rewrite配置指向域名到集群内服务 单击“确定”完成配置更新。 在左侧导航栏中选择“配置与密钥”，在“kube-system”命名空间下，查看名为coredns的配置项数据，确认是否更新成功。 对应Corefile内容如下： .:5353 { bind {$POD_IP} rewrite name example.com example.default.svc.cluster.local cache 30 errors health {$POD_IP}:8080 kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa } loadbalance round_robin prometheus {$POD_IP}:9153 forward . /etc/resolv.conf { policy random } reload ready {$POD_IP}:8081 }

使用CoreDNS级联自建DNS CoreDNS默认使用节点的/etc/resolv.conf文件进行解析，您也可以修改成外部DNS的解析地址。 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“插件中心”，在CoreDNS下单击“编辑”，进入插件详情页。 在“参数配置”下编辑高级配置，在plugins字段修改以下内容。 { "configBlock": "policy random", "name": "forward", "parameters": ". 192.168.1.1" } 图4 使用CoreDNS级联自建DNS 单击“确定”完成配置更新。 在左侧导航栏中选择“配置与密钥”，在“kube-system”命名空间下，查看名为coredns的配置项数据，确认是否更新成功。 对应Corefile内容如下： .:5353 { bind {$POD_IP} cache 30 errors health {$POD_IP}:8080 kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa } loadbalance round_robin prometheus {$POD_IP}:9153 forward . 192.168.1.1 { policy random } reload ready {$POD_IP}:8081 }

为CoreDNS配置存根域 集群管理员可以修改CoreDNS Corefile的ConfigMap以更改服务发现的工作方式。 若集群管理员有一个位于10.150.0.1的Consul域名解析服务器，并且所有Consul的域名都带有.consul.local的后缀。 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“插件中心”，在CoreDNS下单击“编辑”，进入插件详情页。 在“参数配置”下添加存根域。格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址，如 'consul.local --10.150.0.1'。 图1 添加存根域 单击“确定”完成配置更新。 在左侧导航栏中选择“配置与密钥”，在“kube-system”命名空间下，查看名为coredns的配置项数据，确认是否更新成功。 对应Corefile内容如下： .:5353 { bind {$POD_IP} cache 30 { servfail 5s } errors health {$POD_IP}:8080 kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa } loadbalance round_robin prometheus {$POD_IP}:9153 forward . /etc/resolv.conf { policy random } reload ready {$POD_IP}:8081 } consul.local:5353 { bind {$POD_IP} errors cache 30 forward . 10.150.0.1 }

解决方案 使用CoreDNS有以下几种自定义域名解析的方案。 为CoreDNS配置存根域：可以直接在控制台添加，简单易操作。 使用 CoreDNS Hosts 插件配置任意域名解析：简单直观，可以添加任意解析记录，类似在本地/etc/hosts中添加解析记录。 使用 CoreDNS Rewrite 插件指向域名到集群内服务：相当于给Kubernetes中的Service名称取了个别名，无需提前知道解析记录的IP地址。 使用 CoreDNS Forward 插件将自建 DNS 设为上游 DNS：自建DNS中，可以管理大量的解析记录，解析记录专门管理，增删记录无需修改CoreDNS配置。

监控 在此处，您可以方便地查看节点在近1小时、近8小时、近24小时以及自定义时间段内各维度资源的使用情况。如需查看更多监控信息，请单击“查看全部仪表盘”，跳转至“仪表盘”页面，相应指导请参见使用仪表盘。 图5 节点监控 CPU相关指标 CPU使用率：节点的CPU非空闲时间所占的平均比例。 CPU分配率：节点上所有容器对CPU的Request之和除以节点的CPU总核数。 节点CPU单核使用率：节点上每个CPU核非空闲时间各自所占的比例。 内存相关指标 内存使用率：节点的内存使用量除以节点的内存总量。 内存分配率：节点上所有容器对内存的 Request 之和占节点的内存总量的比例。 网络相关指标 网络流出速率：节点上的物理网卡在不同的时间段的每秒钟发送的字节数。 网络流入速率：节点上的物理网卡在不同的时间段的每秒钟接收的字节数。 网络发送丢包率：节点的物理网卡网络发送丢包速率。 网络接收丢包率：节点的物理网卡网络接收丢包率。 磁盘相关指标 磁盘读取速率：节点上的每个文件系统在不同的时间段的每秒钟读取的字节数。 磁盘写入速率：节点上的每个文件系统在不同的时间段的每秒钟写入的字节数。 磁盘使用率：节点上的每个文件系统在不同的时间段已使用的空间所占各自总空间的比例。 Pod相关指标 Pod CPU使用率：节点上每个Pod在不同的时间段的CPU使用量占它们的CPU Limit量的比例。 Pod内存使用率：节点上每个Pod在不同的时间段的内存使用量占它们的内存Limit量的比例。 Pod状态数量趋势：节点上在不同的时间段分别处于不可用、未就绪、运行中、已完成或其他的状态 Pod 数量之和。 Pod数量变化趋势：节点上所有的 Pod 在不同的时间段的数量。 其他指标 节点平均负载：节点的平均负载是指在一定时间内，节点上正在运行的进程数量的平均值。即节点上正在运行的进程数量是否过多，是否超出了节点的处理能力。通常情况下，节点平均负载应该保持在一个合理的范围内，以确保节点的稳定性和可靠性。 Iptables 连接数：连接跟踪表的最大条目数和当前已分配的条目数。

节点列表 节点列表中包含节点名称、状态、IP地址、Pod（已分配/总额度）、CPU申请率/限制率/使用率，以及内存申请率/限制率/使用率等信息。 图1 节点列表 您可以通过在列表上方按照节点名称、状态、私有地址和公网地址进行筛选，快速找到需要的节点。您也可以单击“导出”按钮导出全部节点数据，或者选择部分节点进行导出，此时仅导出所选中的数据。导出的文件为“.xlsx”格式，文件命名中包含时间戳。 当节点的CPU限制率或内存限制率超过100%时，意味着节点资源超分，节点上的负载限制值（可使用的最大值）之和已经超过了节点规格。如果负载占用资源过高，可能会导致业务负载互相抢占资源，引发业务异常乃至节点异常。

Pod列表 Pod列表中包含了Pod名称、状态、命名空间、Pod IP、所在节点、重启次数、CPU申请/限制、内存申请/限制，以及CPU和内存使用量、使用率等详细信息。 图4 Pod列表 您可以通过在列表上方按照Pod名称、状态、命名空间、Pod IP和所在节点进行筛选，快速找到需要的Pod。您也可以单击“导出”按钮来导出全部Pod数据，或者选择部分Pod进行导出，此时仅导出所选中的数据。导出的文件为“.xlsx”格式，文件命名中包含时间戳。 单击Pod名称可以查看Pod的详细监控数据。更多相关内容，请参见Pod监控。

概览 单击节点名称，您可以方便地查看资源健康概况，包括节点状态、Pod数量以及异常事件。此外，还可以浏览近一小时的监控概览，其中包括CPU使用率、内存使用率和网络流入/流出速率这些常见的监控指标。 图2 资源概况和监控概览 同时，概览页面还提供了Pod使用趋势功能，您可以从中了解节点中各Pod的CPU使用率、CPU使用量、内存使用率和内存使用量（在图表右上角切换对应指标），并且支持查看降序Top5和升序Top5数据（在图表左上角进行切换）。 图3 Pod使用趋势 如需了解更多指标，请前往监控页面查看。

操作步骤 登录CCE控制台，单击集群名称进入集群。 查看集群概览页，在右边“连接信息”下证书认证一栏，单击“下载”。 图1 获取证书 在弹出的“证书获取”窗口中，根据系统提示选择证书的过期时间并下载集群X509证书。 下载的证书包含client.key、client.crt、ca.crt三个文件，请妥善保管您的证书，不要泄露。 集群中容器之间互访不需要证书。 使用集群证书调用Kubernetes原生API。 例如使用curl命令调用接口查看Pod信息，如下所示，其中192.168.0.18:5443为集群API Server地址。 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://192.168.0.18:5443/api/v1/namespaces/default/pods/ 更多集群接口请参见Kubernetes API。

Pod标签 在控制台创建工作负载时，会默认为Pod添加如下标签，其中app的值为工作负载名称。 YAML示例如下： ... spec: selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 spec: ... 您也可以根据需要为Pod添加其他标签，可用于设置工作负载亲和性与反亲和性调度。如下图，假设为工作负载（例如名称为APP1、APP2、APP3）定义了3个Pod标签：release、env、role。不同工作负载定义了不同的取值，分别为： APP 1：[release:alpha;env:development;role:frontend] APP 2：[release:beta;env:testing;role:frontend] APP 3：[release:alpha;env:production;role:backend] 图1 标签案例 例如，设置工作负载亲和性的“key/value”值为“role/backend”，则会选择APP3进行亲和性调度，详情请参见工作负载亲和（podAffinity）。

Pod注解 CCE提供一些使用Pod的高级功能，这些功能使用时可以通过给YAML添加注解Annotation实现。具体的Annotation如下表所示。 表1 Pod Annotation 注解 说明 默认值 kubernetes. AOM .log.stdout 容器标准输出采集参数，不配置默认将全部容器的标准输出上报至AOM，可配置采集指定容器或全部不采集。 示例： 全部不采集： kubernetes.AOM.log.stdout: '[]' 采集container-1和container-2容器： kubernetes.AOM.log.stdout: '["container-1","container-2"]' - metrics.alpha.kubernetes.io/custom-endpoints AOM监控指标上报参数，可将指定指标上报是AOM服务。 具体使用请参见使用AOM监控自定义指标。 - prometheus.io/scrape Prometheus指标上报参数，值为true表示当前负载开启上报。 具体使用请参见使用云原生监控插件监控自定义指标。 - prometheus.io/path Prometheus采集的url路径。 具体使用请参见使用云原生监控插件监控自定义指标。 /metrics prometheus.io/port Prometheus采集的endpoint端口号。 具体使用请参见使用云原生监控插件监控自定义指标。 - prometheus.io/scheme Prometheus采集协议，值可以填写http或https 具体使用请参见使用云原生监控插件监控自定义指标。 - kubernetes.io/ingress-bandwidth Pod的入口带宽 具体使用请参见为Pod配置QoS。 - kubernetes.io/egress-bandwidth Pod的出口带宽 具体使用请参见为Pod配置QoS。 -

功能介绍 功能 描述 参考文档 动态资源超卖 根据在线作业和离线作业类型，通过Volcano调度将集群中申请而未使用的资源（即申请量与使用量的差值）利用起来，实现资源超卖和混合部署，提升集群资源利用率。 动态资源超卖 CPU Burst弹性限流 提供一种可以短暂突破CPU Limit值的弹性限流机制，以降低业务长尾响应时间，可以有效提升时延敏感型业务的服务质量。 CPU Burst弹性限流 出口网络带宽保障 平衡在线业务与离线业务对出口网络带宽的使用，保证在线业务有足够的网络带宽。 出口网络带宽保障

全域统一调度和资源分级管控 全域统一调度 应用的全域统一调度的核心是全域和统一，比如：分布式云场景中跨云、跨集群的统一调度，以及不同在线应用、离线任务的统一调度。 首先，Volcano通过静态分析，获取应用的静态特征，如：CPU、内存、存储、GPU等资源的需求，应用间亲和性、区域亲和性、云平台亲和性等。 接着，Volcano对接监控系统，获取不同云平台资源、集群资源的动态数据，以及应用运行的数据，分析其规律，获得其运行态势，如：业务分级(天/周/月)的潮汐规律性、CPU敏感型、L3缓存敏感型、内存敏感型等。 最后，通过Volcano丰富多样的、按需启用的调度策略，将应用调度到合适的环境中。如：基于预测的智能调度策略、基于业务的binpack装箱/重调度策略、基于运行态势的资源超卖策略等。 Volcano将分布式云平台中的资源统一管理，将不同类型的应用调度到合适的位置，有效的解决了多集群带来的资源碎片问题和因应用迭代带来的节点规格不匹配问题，帮助用户从繁杂的资源规划和版本迭代带来的变化中解脱出来。 资源分级管控 应用被调度到合适的运行环境后，如何来保障其所需要的资源呢？ 基于Huawei Cloud EulerOS 2.0操作系统，从CPU、L3缓存、内存、网络、存储等全方位提供资源隔离能力，并以内核态为主，用户态为辅，通过快速抢占（毫秒）和快速驱逐（秒级），保障在线业务的服务质量。 资源隔离的措施，如：CPU的绑核、NUMA亲和性、潮汐亲和特性，网络带宽控制等，有效的保障资源敏感型业务的SLO。 资源优先级控制的措施，如：CPU分级控制、内存分级压制、网络优先级控制、磁盘IO的优先级控制等，在提升资源分配率的同时，又少影响或不影响优先级高的业务SLO。 资源分级管控为业务潮汐明显的在线业务间混部、在线和离线业务混部奠定了基础。解决了应用预留资源较多、资源无法分时复用的问题。

本地存储对比 对比维度 本地持久卷（Local PV） 本地临时卷（Local Ephemeral Volume） 临时路径（EmptyDir） 主机路径（HostPath） 概念 将节点的本地数据盘通过LVM组成存储池（VolumeGroup），然后划分LV给容器挂载使用。 基于Kubernetes原生的EmptyDir类型，将节点的本地数据盘通过LVM组成存储池（VolumeGroup），然后划分LV作为EmptyDir的存储介质给容器挂载使用，相比原生EmptyDir默认的存储介质类型性能更好。 Kubernetes原生的EmptyDir类型，生命周期与容器实例相同，并支持指定内存作为存储介质。容器实例消亡时，EmptyDir会被删除，数据会永久丢失。 将容器所在宿主机的文件目录挂载到容器指定的挂载点中。 主要特点 低延迟、高IO，非高可用的持久卷。 存储卷通过Label绑定节点，且为非共享存储，只能在单个Pod中挂载。 本地临时卷，存储空间来自本地LV。 本地临时卷，存储空间来自本地的kubelet根目录或内存。 挂载主机节点文件系统上的文件或目录，支持自动创建主机目录，Pod可迁移（不绑定节点）。 存储卷挂载方式 不支持静态存储卷 支持通过动态存储卷使用本地持久卷 详情请参见使用本地临时卷。 详情请参见使用临时路径。 详情请参见主机路径（HostPath）。 应用场景 IO要求高、应用自带高可用方案的场景，例如：高可用部署MySQL。 缓存空间，例如基于磁盘的归并排序。 为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。 在Web服务器容器服务数据时，保存内容管理器容器获取的文件。 缓存空间，例如基于磁盘的归并排序。 为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。 在Web服务器容器服务数据时，保存内容管理器容器获取的文件。 运行一个需要使用节点文件。例如容器中需使用Docker，可使用HostPath挂载节点的/var/lib/docker路径。 须知： HostPath卷存在许多安全风险，最佳做法是尽可能避免使用HostPath。 当必须使用HostPath卷时，它的范围应仅限于所需的文件或目录，并以只读方式挂载。

企业项目支持说明 该功能需要everest插件升级到1.2.33及以上版本。 自动创建存储： CCE支持使用存储类创建云硬盘和对象存储类型PVC时指定企业项目，将创建的存储资源（云硬盘和对象存储）归属于指定的企业项目下，企业项目可选为集群所属的企业项目或default企业项目。 若不指定企业项目，则创建的存储资源默认使用存储类StorageClass中指定的企业项目。 对于自定义的StorageClass，可以在StorageClass中指定企业项目，详见指定StorageClass的企业项目。StorageClass中如不指定的企业项目，则默认为default企业项目。 对于CCE提供的 csi-disk 和 csi-obs 存储类，所创建的存储资源属于default企业项目。 使用已有存储： 使用PV创建PVC时，因为存储资源在创建时已经指定了企业项目，如果PVC中指定企业项目，则务必确保在PVC和PV中指定的everest.io/enterprise-project-id保持一致，否则两者无法正常绑定。

云存储 对比 对比维度 云硬盘EVS 文件存储SFS 极速文件存储SFS Turbo 对象存储OBS 概念 云硬盘（Elastic Volume Service）可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、 数据仓库 以及高性能计算等场景。 SFS为用户提供一个完全托管的共享文件存储，能够弹性伸缩至PB规模，具备高可用性和持久性，为海量数据、高带宽型应用提供有力支持。适用于多种应用场景，包括HPC、 媒体处理 、文件共享、内容管理和Web服务等。 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。适用于多种应用场景，包括高性能网站、日志存储、压缩解压、DevOps、企业办公、容器应用等。 对象存储服务 （Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、 视频点播 、视频监控等多种数据存储场景。 存储数据的逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 访问方式 只能在E CS /BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 提供标准的文件访问协议NFS（仅支持NFSv3），用户可以将现有应用和工具与SFS Turbo无缝集成。 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。 静态存储卷 支持，请参见通过静态存储卷使用已有云硬盘。 支持，请参见通过静态存储卷使用已有文件存储。 支持，请参见通过静态存储卷使用已有极速文件存储。 支持，请参见通过静态存储卷使用已有对象存储。 动态存储卷 支持，请参见通过动态存储卷使用云硬盘。 支持，请参见通过动态存储卷使用文件存储。 不支持 支持，请参见通过动态存储卷使用对象存储。 主要特点 非共享存储，每个云盘只能在单个节点挂载。 共享存储，可提供高性能、高吞吐存储服务。 高性能、高带宽、共享存储。 共享存储，用户态文件系统。 应用场景 HPC高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探等。 HPC高性能计算、媒体处理、内容管理和Web服务、大数据和分析应用程序等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染等。 高性能网站、日志存储、DevOps、企业办公等。 大数据分析、静态网站托管、在线视频点播、基因测序、智能视频监控、备份归档、企业云盘（网盘）等。 容量 TB级别 SFS 1.0：PB级别 SFS 3.0：EB级别 通用型：TB级别 EB级别 时延 1~2ms SFS 1.0：3~20ms SFS 3.0：10ms 通用型：1~5ms 10ms 最大IOPS 因规格而异，范围为2.2K~256K SFS 1.0：2K SFS 3.0：百万级 通用型：最大达100K 千万级 带宽 MB/s级别 SFS 1.0：GB/s级别 SFS 3.0：TB/s级别 通用型：最大为GB/s级别 TB/s级别

通过控制台创建 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“服务”，切换至“路由”页签，在右上角单击“创建路由”。 设置Ingress参数。本示例中仅列举必选参数，其余参数可根据需求参考通过控制台创建ELB Ingress进行设置。 名称：自定义服务名称，可与工作负载名称保持一致。 负载均衡器：选择弹性负载均衡的类型、创建方式。 类型：本例中仅支持选择“独享型”。 创建方式：本文中以选择已有ELB为例进行说明，关于自动创建的配置参数请参见负载均衡器。 监听器配置： 前端协议：支持HTTP和HTTPS。本文以HTTP协议为例。 对外端口：开放在负载均衡服务地址的端口，可任意指定。 高级配置： 配置 说明 使用限制 数据压缩 开启将对特定文件类型进行压缩；关闭则不会对任何文件类型进行压缩。 Brotli支持压缩所有类型。 Gzip支持压缩的类型如下： text/xml text/plain text/css application/javascript application/x-javascript application/rss+xml application/atom+xml application/xml application/json。 独享型ELB实例支持配置。 图1 配置gzip数据压缩 转发策略配置：填写域名匹配规则及需要访问的目标Service。请求的访问地址与转发规则匹配时（转发规则由域名、URL组成，例如：10.117.117.117:80/helloworld），此请求将被转发到对应的目标Service处理。 单击“确定”，创建Ingress。

操作场景 环境变量是指容器运行环境中设定的一个变量，环境变量可以在工作负载部署后修改，为工作负载提供极大的灵活性。 CCE中设置的环境变量与Dockerfile中的“ENV”效果相同。 容器启动后，容器中的内容不应修改。如果修改配置项（例如将容器应用的密码、证书、环境变量配置到容器中），当容器重启（例如节点异常重新调度Pod）后，会导致配置丢失，业务异常。 配置信息应通过入参等方式导入容器中，以免重启后配置丢失。 环境变量支持如下几种方式设置。 自定义：手动填写环境变量名称及对应的参数值。 配置项导入：将配置项中所有键值都导入为环境变量。 配置项键值导入：将配置项中某个键的值导入作为某个环境变量的值。例如图1中将configmap-example这个配置项中configmap_key的值configmap_value导入为环境变量key1的值，导入后容器中将会存在一个名为key1的环境变量，其值为configmap_value。 密钥导入：将密钥中所有键值都导入为环境变量。 密钥键值导入：将密钥中某个键的值导入作为某个环境变量的值。例如图1中将secret-example这个配置项中secret_key的值secret_value导入为环境变量key2的值，导入后容器中将会存在一个名为key2的环境变量，其值为secret_value。 变量/变量引用：用Pod定义的字段作为环境变量的值。例如图1中将此Pod的名称导入为环境变量key3的值，导入后容器中将会存在一个名为key3的环境变量，其值为该Pod的名称。 资源引用：用容器定义的资源申请值或限制值作为环境变量的值。例如图1中将容器container-1的CPU限制值导入为环境变量key4的值，导入后容器中将会存在一个名为key4的环境变量，其值为容器container-1的CPU限制值。

YAML样例 apiVersion: apps/v1 kind: Deployment metadata: name: env-example namespace: default spec: replicas: 1 selector: matchLabels: app: env-example template: metadata: labels: app: env-example spec: containers: - name: container-1 image: nginx:alpine imagePullPolicy: Always resources: requests: cpu: 250m memory: 512Mi limits: cpu: 250m memory: 512Mi env: - name: key # 自定义 value: value - name: key1 # 配置项键值导入 valueFrom: configMapKeyRef: name: configmap-example key: configmap_key - name: key2 # 密钥键值导入 valueFrom: secretKeyRef: name: secret-example key: secret_key - name: key3 # 变量引用，用Pod定义的字段作为环境变量的值 valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name - name: key4 # 资源引用，用Container定义的字段作为环境变量的值 valueFrom: resourceFieldRef: containerName: container1 resource: limits.cpu divisor: 1 envFrom: - configMapRef: # 配置项导入 name: configmap-example - secretRef: # 密钥导入 name: secret-example imagePullSecrets: - name: default-secret

环境变量查看 如果configmap-example和secret-example的内容如下。 $ kubectl get configmap configmap-example -oyaml apiVersion: v1 data: configmap_key: configmap_value kind: ConfigMap ... $ kubectl get secret secret-example -oyaml apiVersion: v1 data: secret_key: c2VjcmV0X3ZhbHVl # c2VjcmV0X3ZhbHVl为secret_value的base64编码 kind: Secret ... 则进入Pod中查看的环境变量结果如下。 $ kubectl get pod NAME READY STATUS RESTARTS AGE env-example-695b759569-lx9jp 1/1 Running 0 17m $ kubectl exec env-example-695b759569-lx9jp -- printenv / # env key=value # 自定义环境变量 key1=configmap_value # 配置项键值导入 key2=secret_value # 密钥键值导入 key3=env-example-695b759569-lx9jp # Pod的metadata.name key4=1 # container1这个容器的limits.cpu，单位为Core，向上取整 configmap_key=configmap_value # 配置项导入，原配置项中的键值直接会导入结果 secret_key=secret_value # 密钥导入，原密钥中的键值直接会导入结果

开启集群控制面审计日志 创建集群时开启 登录云容器引擎（CCE）控制台。 在控制台上方导航栏，单击“购买集群”，填写集群配置并单击“下一步：插件选择”。 在“插件选择”页面中，选择安装“云原生日志采集插件”并单击“下一步：插件配置”。 在“插件配置”页面中，在“云原生日志采集插件”配置中勾选“kubernetes审计日志”。 图1 创建集群时开启集群审计日志 单击“下一步：确认配置”完成集群创建。

查看组件日志 查看插件的Pod $ kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE csi-secrets-store-76tj2 3/3 Running 0 11h dew-provider-hm5fq 1/1 Running 0 11h 查看dew-provider组件Pod日志 $ kubectl logs dew-provider-hm5fq -n kube-system …日志信息略… … 查看csi-secrets-store组件Pod日志，由于csi-secrets-store组件的Pod包含多个容器，在查看日志信息时，需通过”-c”命令指定某个容器。其中，secrets-store容器作为该插件的主业务容器，其包含了主要的日志信息。 $ kubectl logs csi-secrets-store-76tj2 -c secrets-store -n kube-system …日志信息略… …

实时感知SPC变化 在使用Volume挂载凭据、定时轮转的演示中，其实已经使用到了实时感知SPC变化的能力。为了演示说明，在SPC对象中新增一个凭据secret_2，如下所示： apiVersion: secrets-store.csi.x-k8s.io/v1 kind: SecretProviderClass metadata: name: spc-test spec: provider: cce parameters: objects: | - objectName: "secret_1" objectVersion: "latest" objectType: "csms" - objectName: "secret_2" objectVersion: "v1" objectType: "csms" 更新该SPC对象后，新增的secret_2将很快挂载至引用了该SPC对象的Pod内。

版本记录 表4 CCE密钥管理（对接 DEW）插件版本记录 插件版本 支持的集群版本 更新特性 1.1.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持同步csms凭据时创建secret 1.0.31 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.27集群 适配CCE v1.28集群 1.0.9 v1.19 v1.21 v1.23 v1.25 - 1.0.6 v1.19 v1.21 v1.23 v1.25 - 1.0.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.0.2 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.0.1 v1.19 v1.21 支持主动感知SecretProviderClass对象的变化

定时轮转 在插件使用说明，通过使用该插件，用户可完成基本的凭据挂载功能，即能够将存储在凭据管理服务中的凭据写入到Pod内。 若将在SPC对象中声明的凭据版本改为”latest”，如下所示： apiVersion: secrets-store.csi.x-k8s.io/v1 kind: SecretProviderClass metadata: name: spc-test spec: provider: cce parameters: objects: | - objectName: "secret_1" objectVersion: "latest" # change "v1"to "latest" objectType: "csms" 更新该SPC对象后，插件将周期性地向凭据管理服务发起请求，获取凭据secret_1最新版本的值，并将其刷新至引用了该SPC对象的Pod内。此处插件周期性发起请求的时间间隔由安装插件时设置的rotation_poll_interval参数确定。

使用Volume挂载凭据 创建ServiceAccount。 创建ServiceAccount对象，其中声明了允许业务使用的凭据名称，若用户引用了未在此处声明的凭据，则挂载失败，最终导致Pod无法运行。 根据如下模板创建serviceaccount.yaml，在cce.io/dew-resource字段中声明允许业务使用的凭据名称。这里声明了secret_1和secret_2，表示允许业务引用这两个凭据对象。在后续的操作中，若用户在业务中引用了secret_3，则无法通过校验，从而导致无法正常挂载该凭据，最终业务Pod将无法运行。 apiVersion: v1 kind: ServiceAccount metadata: name: nginx-spc-sa annotations: cce.io/dew-resource: "[\"secret_1\",\"secret_2\"]" #secrets that allow pod to use 这里需要明确，此处声明的凭据应确保在凭据管理服务中是存在的，如下图所示。否则，即使通过了校验，最终向凭据管理服务中获取相应凭据的时候也会出错，从而导致Pod无法正常运行。 执行如下命令创建ServiceAccount对象。 kubectl apply -f serviceaccount.yaml 查看ServiceAccount对象是否已经正常创建，如下所示： $ kubectl get sa NAME SECRETS AGE default 1 18d # 此为系统默认的ServiceAccount对象 nginx-spc-sa 1 19s # 此为刚刚创建的ServiceAccount对象 至此，一个名为“nginx-spc-sa”的ServiceAccount对象已正常创建。该对象将在后续的业务Pod中被引用。 创建SecretProviderClass。 SecretProviderClass对象用于描述用户感兴趣的凭据信息（比如指定凭据的版本、凭据的名称等），由用户创建，并在业务Pod中进行引用。 根据如下模板创建secretproviderclass.yaml。用户主要关注parameters.objects字段，它是一个数组，用于声明用户想要挂载的凭据信息。 apiVersion: secrets-store.csi.x-k8s.io/v1 kind: SecretProviderClass metadata: name: spc-test spec: provider: cce # 固定为cce parameters: objects: | - objectName: "secret_1" objectVersion: "v1" objectType: "csms" 参数 参数类型 是否必选 参数说明 objectName String 是 凭据名称，需填写ServiceAccount中引用的凭据。若同一个SecretProviderClass中定义了多个objectName，不允许重名，否则会挂载失败。 objectAlias String 否 凭据写入到容器内的文件名称。若不指定，则凭据写入到容器内的文件名默认为objectName；若指定，则objectAlias与其他凭据的objectName和objectAlias均不允许重名，与自身的objectName也不允许重名，否则会挂载失败。 objectType String 是 凭据类型。当前仅支持”csms”类型，其他均为非法输入。 objectVersion String 是 凭据的版本。 指定某个具体的版本：v1,v2,… 指定最新版本：latest。当指定objectVersion为” latest”时，若在云凭据管理服务侧对应的凭据发生了更新，更新后的凭据值将在经过一定时间间隔后（即rotation_poll_interval）刷新至Pod内。 执行如下命令创建SecretProviderClass对象。 kubectl apply -f secretproviderclass.yaml 查看SecretProviderClass对象是否已经正常创建，如下所示： $ kubectl get spc NAME AGE spc-test 20h 至此，一个名为“spc-test”的SecretProviderClass对象已正常创建。该对象将在后续的业务Pod中被引用。 创建业务Pod。 这里以创建一个nginx应用为例。 定义业务负载，在serviceAccountName中引用此前创建好的ServiceAccount对象，secretProviderClass中引用此前创建好的SPC对象，并在mountPath中指定容器内的挂载路径（这里需注意，用户不应该指定”/”，” /var/run”等特殊目录，否则可能影响容器的正常启动）。 apiVersion: apps/v1 kind: Deployment metadata: name: nginx-spc labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: serviceAccountName: nginx-spc-sa # 引用上面创建的ServiceAccount volumes: - name: secrets-store-inline csi: driver: secrets-store.csi.k8s.io readOnly: true volumeAttributes: secretProviderClass: "spc-test" # 引用上面创建的SPC containers: - name: nginx-spc image: nginx:alpine imagePullPolicy: IfNotPresent volumeMounts: - name: secrets-store-inline mountPath: "/mnt/secrets-store" # 定义容器内凭据的挂载路径 readOnly: true imagePullSecrets: - name: default-secret 创建业务Pod。 kubectl apply -f deployment.yaml 查看Pod是否已经正常创建，如下所示： $ kubectl get pod NAME READY STATUS RESTARTS AGE nginx-spc-67c9d5b594-642np 1/1 Running 0 20s 进入容器，查看指定的凭据是否正常写入。如下所示： $ kubectl exec -ti nginx-spc-67c9d5b594-642np -- /bin/bash root@nginx-spc-67c9d5b594-642np:/# root@nginx-spc-67c9d5b594-642np:/# cd /mnt/secrets-store/ root@nginx-spc-67c9d5b594-642np:/mnt/secrets-store# root@nginx-spc-67c9d5b594-642np:/mnt/secrets-store# ls secret_1 可以看到，用户在SPC对象中声明的secret_1已正常写入Pod。 此外，还可以通过获取spcPodStatus查看Pod与凭据的绑定情况。如下所示： $ kubectl get spcps NAME AGE nginx-spc-67c9d5b594-642np-default-spc-test 103s $ kubectl get spcps nginx-spc-67c9d5b594-642np-default-spc-test -o yaml ...... status: mounted: true objects: # 挂载的凭据信息 - id: secret_1 version: v1 podName: nginx-spc-67c9d5b594-642np # 引用了SPC对象的Pod secretProviderClassName: spc-test # SPC对象 targetPath: /mnt/paas/kubernetes/kubelet/pods/6dd29596-5b78-44fb-9d4c-a5027c420617/volumes/kubernetes.io~csi/secrets-store-inline/mount