华为云用户手册
-
操作步骤 登录KooMap服务控制台,进入控制台页面。 在左侧导航栏,选择“AR地图”下的“项目管理”菜单,进入“项目管理”页面。 在“项目管理”页面,单击项目名称(蓝色字体),进入该项目详情页。 选择注册成功的数据,单击操作列下的“注册调整”,在“注册调整”弹窗内核对地图注册结果。 如果注册结果不符合要求,可手动调整注册结果的坐标位置及角度。 图1 注册调整 单击“确定”进行地图生成。 地图生成完成后,“地图生成”列显示为“生成成功”。
-
操作步骤 登录KooMap服务控制台,进入控制台页面。 在左侧导航栏选择“工作共享空间管理”,然后在右侧页面单击工作共享空间名称。 单击“卫星影像概览”页签,进入卫星影像概览页。 图1 卫星影像概览页 在卫星影像概览页,您可参考表1操作任务。 表1 操作任务与操作步骤 操作 操作步骤 适用任务的状态 查询任务 方式一:单击页面左上角任务状态统计环,下方显示对应状态的全部任务。 所有状态(包括未运行、失败、执行中、停止中、等待中、执行成功、停止成功、已归档) 方式二:设置过滤条件查询任务。 在右上角设置任务名称、创建任务时间区间以及任务状态作为过滤条件。 单击或按回车键,界面显示符合过滤条件的全部任务。 说明: 当选择“运行态”或“成功”状态时,可选状态分别如下: 运行态:可选择“停止中”、“等待中”和“执行中”。 成功:可选择“停止成功”和“执行成功”。 启动/重启任务 单击任务卡片中的启动数据处理任务。 说明: 处理时长依赖您选择的待处理数据大小、数量、复杂度、处理等级等因素,耗时可能比较久,请您耐心等待。 未运行、停止成功、失败 停止任务 单击任务卡片中的停止数据处理任务。 执行中、等待中 归档任务 单击任务卡片中的归档任务。 执行成功 解除归档任务 单击任务卡片中的解除归档任务。 已归档 查看成果数据 单击任务卡片中的“查看成果数据”。 跳转到“卫星影像”下的“数据管理”页面。 查看成果数据。 说明: 创建任务时,如果“处理等级”选择“L5”且勾选“金字塔切割”或“矢量切割”,“卫星影像”页面中的“影像等级”列分别用或标识。 执行成功 删除任务 单击任务卡片右上角 。 单击“确定”,完成任务的删除。 失败、未运行、执行成功、停止成功
-
查看用量统计 用量统计主要是对时空专属存储以及实景三维生产服务的用量统计,您可以查看时空专属存储或影像建模的用量统计。 时空专属存储用量:包括用户上传的数据、数据生产过程中产生的中间数据以及实景三维模型成果数据的存储总量。 用户上传的数据:倾斜摄影影像(航空飞机影像和无人机影像)、生产资料、精修后处理任务的输入数据(精修前后的obj数据)。 数据生产过程产生的中间数据:空三、显式辐射场阶段产生的数据。 实景三维成果数据:纹理Mesh实景三维模型和显式辐射场实景三维模型的osgb、obj格式的文件。 实景三维生产服务影像建模用量:统计成功建模的倾斜摄影影像的像素点数量、成功处理的次数。 实景三维生产服务基础版:支持纹理模型实景三维。 实景三维生产服务专业版:支持显式辐射场实景三维。 用量统计仅做参考,实际情况以账单为准。 登录KooMap服务控制台,进入控制台页面。 在左侧导航栏选择“实景三维”下的“用量统计”菜单,然后在右侧单击“我的存储”页签,查看时空专属存储用量。 图1 时空专属存储用量统计 在左侧导航栏选择“实景三维”下的“用量统计”菜单,然后在右侧单击“实景三维生产服务”页签,查看已处理影像像素量、成功处理的次数。 图2 实景三维生产服务用量统计 父主题: 实景三维操作指导
-
操作步骤 登录KooMap服务控制台,进入控制台页面。 在左侧导航栏,选择“AR地图”下的“项目管理”菜单,进入“项目管理”页面。 在“项目管理”页面,单击项目名称(蓝色字体),进入该项目详情页。 选择预处理成功的数据,单击操作列下的“提交生产”。 图1 预览轨迹 在“空间预览轨迹”弹窗中核对轨迹是否与实际采图轨迹相符。 如果您对轨迹不满意,则需要重新采集数据并上传数据进行预处理。 单击“提交生产”进行地图注册。 注册完成后,“地图注册”列显示“注册成功”。
-
查看用量统计 用量统计主要是对时空专属存储以及卫星影像生产服务的用量统计,您可以查看时空专属存储或各等级处理任务的用量统计。 时空专属存储:统计导入的原始卫星影像、矢量数据、生产资料和成果影像存储总量。 卫星影像生产服务用量:统计L2、L3、L4、L5等级处理的成果影像存储用量、处理成功的次数。 用量统计仅供参考,实际情况请以账单为准。 登录KooMap服务控制台,进入控制台页面。 在左侧导航栏选择“卫星影像”下的“用量统计”菜单,然后在右侧单击“我的存储”页签,查看时空专属存储用量。 图1 时空专属存储用量统计 在左侧导航栏选择“卫星影像”下的“用量统计”菜单,然后在右侧单击“卫星影像生产服务”页签,查看所有处理等级的成果影像存储用量、成功处理的次数。 图2 卫星影像生产服务用量统计 父主题: 卫星影像操作指导
-
修订记录 发布日期 修订记录 2024-05-17 第五次公测发布。 创建上传任务:表格命名辅助工具参数说明,卫星名说明中增加:卫星名前缀不能为PHR1A、PHR1B、WV01、WV02、TH01。 管理上传任务:去掉删除任务。 2023-12-28 第四次公测发布。 新增实景三维操作指导。 2023-11-17 第三次公测发布。 修改“帐号”为“账号”。 2023-06-27 第二次公测发布。 “KooMap Tools”改名为“时空数据专属存储”,修改资料中的有关描述。 影像列表:增加“预览影像数据”章节。 查询影像数据:在操作步骤中增加说明。 2023-04-28 第一次公测发布。
-
安全运行时与普通运行时 相比于普通运行时,安全运行时可以让您的每个容器(准确地说是Pod)都运行在一个单独的微型虚拟机中,拥有独立的操作系统内核,以及虚拟化层的安全隔离。通过使用安全运行时,不同容器之间的内核、计算资源、网络都是隔离开的,保护了Pod的资源和数据不被其他Pod抢占和窃取。 CCE Turbo 集群支持使用普通运行时和安全运行时创建工作负载,您可以根据业务需求选择使用,两者的区别如下: 分类 安全运行时 普通运行时 容器所在节点类型 弹性云服务器-物理机 弹性云服务器-虚拟机 弹性云服务器-物理机 容器引擎 Containerd Docker、Containerd 容器运行时 Kata runC 容器内核 独占内核 与宿主机共享内核 容器隔离方式 轻量虚拟机 Cgroups和Namespace 容器引擎存储驱动 Device Mapper Docker容器:OverlayFS2 Containerd容器:OverlayFS Pod Overhead 内存:100MiB CPU:0.1Core Pod Overhead为安全容器本身资源占用。比如Pod申请的limits.cpu = 0.5Core和limits.memory = 256MiB,那么该Pod最终会申请0.6Core的CPU和356MiB的内存。 无 最小规格 内存:256MiB CPU:0.25Core 安全容器的CPU核数(单位为Core)与内存(单位为GiB)配比建议在1:1至1:8之间。例如CPU为0.5Core,则内存范围建议在512MiB-4GiB间。 无 容器引擎命令行 crictl Docker容器:docker Containerd容器:crictl Pod的计算资源 CPU和内存的request和limit必须一致 CPU和内存的request和limit可以不一致 主机网络(hostNetwork) 不支持 支持 Containerd和Docker命令行的使用方式对比,请参见容器引擎。 父主题: 容器设置
-
监控配置 采集配置 采集周期:云原生监控插件的指标采集周期,默认为15秒。 自定义指标采集策略:开启后,云原生监控插件支持采集应用的自定义指标。您需要按照Prometheus规范在应用中提供自定义指标,并且暴露自定义指标的接口,然后在集群中使用该应用镜像部署工作负载,Prometheus会通过采集配置对这些指标进行采集。详情请参见使用云原生监控插件监控自定义指标。 对接 AOM 监控服务 AOM实例是 应用运维管理 服务(AOM)推出的Prometheus监控功能。启用后指标会上报到您选择的AOM实例,其中容器基础指标免费,其他指标按需收费。关于免费指标详情请参见基础指标-容器指标。 对接第三方监控平台 开启后,支持将普罗数据上报至第三方监控平台,您需要提前获取第三方监控平台的数据上报地址及身份认证凭据。详情请参见CCE云原生监控插件对接第三方监控平台。
-
日志配置 采集配置 CCE可以帮助您快速采集 Kubernetes 集群的容器日志,包括容器标准输出、容器内日志文件、节点日志以及Kubernetes事件,并可快速进行日志查询与分析。 日志上报LTS会创建名为k8s-logs-{clusterId}的默认日志组,并收取相关的费用。LTS收费标准请参见价格计算器。 日志类型 日志 LTS日志流名称 开启状态 参考文档 容器日志 容器标准输出 stdout-{clusterId} 开通业务日志采集需安装云原生日志采集插件。 通过云原生日志采集插件采集容器日志 Kubernetes事件 Kubernetes事件 event-{clusterId} 开通业务日志采集需安装云原生日志采集插件。 收集Kubernetes事件 Kubernetes审计日志 Kubernetes审计日志 audit-{clusterId} 支持单独配置开关 收集Kubernetes审计日志 控制面组件日志 kube-apiserver日志 kube-apiserver-{clusterId} 支持单独配置开关 收集控制面组件日志 kube-controller-manager日志 kube-controller-manager-{clusterId} 支持单独配置开关 kube-scheduler日志 kube-scheduler-{clusterId} 支持单独配置开关 Kubernetes事件上报至AOM 集群中安装云原生日志采集插件后,Kubernetes事件默认上报至LTS,您可以通过该配置将Kubernetes事件上报至AOM。 异常事件上报:默认开启,会将所有异常事件上报至AOM。您可以单击“配置黑名单”,将不需要上报的事件添加至黑名单进行管理。 普通事件上报:开启后,会将普通事件上报至AOM,系统默认配置了部分需要上报的普通事件。如果您需要自定义上报的事件,可以单击“配置白名单”,将需要上报添加至白名单进行管理。
-
AI加速型 AI加速型弹性云服务器是是专门为AI业务提供加速服务的云服务器。基于Ascend芯片低功耗、高算力特性,能效比大幅提升,适用于AI推理场景和视频编解码场景。 AI加速型云服务器包括kAi系列和Ai系列两类。其中: kAi系列:ARM架构,处理器为鲲鹏920系列。 Ai系列:X86架构,处理器为Intel至强系列。 表43 AI加速型实例特点 规格名称 计算 网络 支持集群类型 AI加速型kAi1s CPU/内存配比:1:1/1:2 vCPU数量范围:4-48 处理器:鲲鹏920处理器 基频:2.6GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:400万PPS 最大内网带宽:20Gbps CCE Standard集群 AI加速型Ai1s CPU/内存配比:1:4/1:2 vCPU数量范围:2-32 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:200万PPS 最大内网带宽:25Gbps CCE Standard集群 AI加速型Ai2 CPU/内存配比:1:4 vCPU数量范围:4-96 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:850万PPS 最大内网带宽:40Gbps CCE Standard集群 AI加速型Ai1 CPU/内存配比:1:4 vCPU数量范围:2-32 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:200万PPS 最大内网带宽:25Gbps CCE Standard集群 表44 kAi1s型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 最大收发包能力 (万/PPS) 网卡多队列数 网卡个数上限 Ascend 310 虚拟化类型 kai1s.xlarge.1 4 4 3/0.8 20 2 2 1 KVM kai1s.2xlarge.1 8 8 4/1.5 40 2 3 2 KVM kai1s.4xlarge.1 16 16 6/3 80 4 4 4 KVM kai1s.3xlarge.2 12 24 8/4 100 4 4 4 KVM kai1s.4xlarge.2 16 32 10/6 140 4 5 6 KVM kai1s.6xlarge.2 24 48 12/8 200 8 6 8 KVM kai1s.9xlarge.2 36 72 16/12 280 8 6 12 KVM kai1s.12xlarge.2 48 96 20/16 400 16 6 12 KVM 表45 Ai1s型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 最大收发包能力 (万/PPS) Ascend 310 Ascend RAM (GiB) 网卡多队列数 网卡个数上限 虚拟化类型 ai1s.3xlarge.2 12 24 12/6 75 4 32 4 6 KVM ai1s.4xlarge.2 16 32 15/8 100 4 32 8 8 KVM ai1s.5xlarge.2 20 40 25/15 200 4 32 8 8 KVM ai1s.9xlarge.2 36 72 30/18 550 4 32 16 8 KVM ai1s.large.4 2 8 4/1.3 20 1 8 2 2 KVM ai1s.xlarge.4 4 16 6/2 35 2 16 2 3 KVM ai1s.2xlarge.4 8 32 10/4 50 4 32 4 4 KVM ai1s.4xlarge.4 16 64 15/8 100 8 64 8 8 KVM ai1s.8xlarge.4 32 128 25/15 200 16 128 8 8 KVM 表46 Ai2型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 最大收发包能力 (万/PPS) Ascend芯片 Ascend RAM (GiB) 网卡多队列数 网卡个数上限 虚拟化类型 ai2.xlarge.4 4 16 8/1.6 80 1 24 3 3 KVM ai2.2xlarge.4 8 32 15/3 150 1 24 4 4 KVM ai2.4xlarge.4 16 64 20/6 280 1 24 8 8 KVM ai2.8xlarge.4 32 128 30/12 550 2 48 8 8 KVM ai2.16xlarge.4 64 256 36/24 800 4 96 16 8 KVM ai2.24xlarge.4 96 384 40/36 850 6 144 32 8 KVM 表47 Ai1型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 最大收发包能力 (万/PPS) Ascend 310 Ascend RAM (GiB) 网卡多队列数 网卡个数上限 虚拟化类型 ai1.large.4 2 8 4/1.3 20 1 8 2 2 KVM ai1.xlarge.4 4 16 6/2 35 2 16 2 3 KVM ai1.2xlarge.4 8 32 10/4 50 4 32 4 4 KVM ai1.4xlarge.4 16 64 15/8 100 8 64 8 8 KVM ai1.8xlarge.4 32 128 25/15 200 16 128 8 8 KVM
-
超高I/O型 超高I/O型弹性云服务器使用高性能NVMe SSD本地磁盘,提供高存储IOPS以及低读写时延。 表38 超高I/O型实例特点 规格名称 计算 网络 支持集群类型 超高I/O型Ir7 CPU/内存配比:1:4 vCPU数量范围:2-64 处理器:第三代英特尔® 至强® 铂金® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:600万PPS 最大内网带宽:40Gbps CCE Standard集群 CCE Turbo集群 超高I/O型I7 CPU/内存配比:1:4 vCPU数量范围:8-96 处理器:第三代英特尔® 至强® 铂金® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:800万PPS 最大内网带宽:44Gbps CCE Standard集群 CCE Turbo集群 超高I/O型Ir3 CPU/内存配比:1:4 vCPU数量范围:2-32 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:550万PPS 最大内网带宽:30Gbps CCE Standard集群 超高I/O型I3 CPU/内存配比:1:8 vCPU数量范围:8-64 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:500万PPS 最大内网带宽:25Gbps CCE Standard集群 表39 Ir7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 本地盘 (GiB) 虚拟化类型 ir7.large.4 2 8 3/0.8 40 2 3 2 × 50 KVM ir7.xlarge.4 4 16 6/1.5 80 2 3 2 × 100 KVM ir7.2xlarge.4 8 32 15/3.1 150 4 4 2 × 200 KVM ir7.4xlarge.4 16 64 20/6.2 300 4 6 2 × 400 KVM ir7.8xlarge.4 32 128 30/12 400 8 8 2 × 800 KVM ir7.16xlarge.4 64 256 40/25 600 16 8 2 × 1600 KVM 表40 I7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 i7.2xlarge.4 8 32 10/3 120 4 4 64 1 × 1600GiB NVMe KVM i7.4xlarge.4 16 64 15/6 200 4 6 96 2 × 1600GiB NVMe KVM i7.8xlarge.4 32 128 25/12 400 8 8 192 4 × 1600GiB NVMe KVM i7.12xlarge.4 48 192 30/18 500 16 8 256 6 × 1600GiB NVMe KVM i7.16xlarge.4 64 256 35/24 600 16 8 256 8 × 1600GiB NVMe KVM i7.24xlarge.4 96 384 44/36 800 32 8 256 12 × 1600GiB NVMe KVM 表41 Ir3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 本地盘 (GiB) 网卡个数上限 虚拟化类型 ir3.large.4 2 8 4/1.2 40 2 2 × 50 2 KVM ir3.xlarge.4 4 16 8/2.4 80 2 2 × 100 3 KVM ir3.2xlarge.4 8 32 15/4.5 140 4 2 × 200 4 KVM ir3.4xlarge.4 16 64 20/9 250 8 2 × 400 8 KVM ir3.8xlarge.4 32 128 30/18 450 16 2 × 800 8 KVM 表42 I3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 本地盘 (GiB) 网卡个数上限 虚拟化类型 i3.2xlarge.8 8 64 2.5/2.5 100 4 1 × 1600GiB NVMe 4 KVM i3.4xlarge.8 16 128 5/5 150 4 2 × 1600GiB NVMe 8 KVM i3.8xlarge.8 32 256 10/10 200 8 4 × 1600GiB NVMe 8 KVM i3.12xlarge.8 48 384 15/15 240 8 6 × 1600GiB NVMe 8 KVM i3.15xlarge.8 60 512 25/25 500 16 7 × 1600GiB NVMe 8 KVM i3.16xlarge.8 64 512 25/25 500 16 8 × 1600GiB NVMe 8 KVM
-
鲲鹏超高I/O型 鲲鹏超高I/O型弹性云服务器搭载鲲鹏920处理器及25GE智能高速网卡,提供最大480GiB基于DDR4的内存实例和高性能网络,擅长处理大型内存数据集和高网络场景。 表36 鲲鹏超高I/O型实例特点 规格名称 计算 网络 支持集群类型 鲲鹏超高I/O型kI1 CPU/内存配比:1:4 vCPU数量范围:8-64 处理器:鲲鹏920处理器 基频:2.6GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:400万PPS 最大内网带宽:30Gbps CCE Standard集群 表37 kI1型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡个数上限 网卡多队列数 本地盘 虚拟化类型 ki1.2xlarge.4 8 32 7/3 80 4 4 1 × 3200GiB KVM ki1.4xlarge.4 16 64 12/6 140 6 4 2 × 3200GiB KVM ki1.6xlarge.4 24 96 15/8.5 200 6 8 3 × 3200GiB KVM ki1.8xlarge.4 32 128 18/10 260 6 8 4 × 3200GiB KVM ki1.12xlarge.4 48 192 25/16 350 6 16 6 × 3200GiB KVM ki1.16xlarge.4 64 228 30/20 400 6 16 8 × 3200GiB KVM
-
鲲鹏内存优化型 鲲鹏内存优化型弹性云服务器搭载鲲鹏920处理器及25GE智能高速网卡,提供最大480GiB基于DDR4的内存实例和高性能网络,擅长处理大型内存数据集和高网络场景。 表34 鲲鹏内存优化型实例特点 规格名称 计算 网络 支持集群类型 鲲鹏内存优化型kM1 CPU/内存配比:1:8 vCPU数量范围:2-60 处理器:鲲鹏920处理器 基频:2.6GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:400万PPS 最大内网带宽:30Gbps CCE Standard集群 表35 kM1型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 km1.large.8 2 16 3/0.8 30 2 2 KVM km1.xlarge.8 4 32 5/1.5 50 2 3 KVM km1.2xlarge.8 8 64 7/3 80 4 4 KVM km1.3xlarge.8 12 96 9/4.5 110 4 5 KVM km1.4xlarge.8 16 128 12/6 140 4 6 KVM km1.6xlarge.8 24 192 15/8 200 8 6 KVM km1.8xlarge.8 32 256 18/10 260 8 6 KVM km1.12xlarge.8 48 384 25/16 350 16 8 KVM km1.15xlarge.8 60 480 30/20 400 16 8 KVM
-
鲲鹏通用计算增强型 鲲鹏通用计算增强型云服务器搭载鲲鹏处理器,提供强劲的鲲鹏算力和高性能网络,更好地满足企业对云上业务性价比高、安全可靠等诉求。 表31 鲲鹏通用计算增强型实例特点 规格名称 计算 网络 支持集群类型 鲲鹏通用计算增强型kC1 CPU/内存配比:1:2/1:4 vCPU数量范围:2-60 处理器:鲲鹏920处理器 基频:2.6GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:400万PPS 最大内网带宽:30Gbps CCE Standard集群 鲲鹏通用计算增强型kC1n CPU/内存配比:1:2/1:4 vCPU数量范围:8-48 处理器:鲲鹏920处理器 基频:2.6GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:350万PPS 最大内网带宽:25Gbps CCE Standard集群 CCE Turbo集群 表32 kC1型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 kc1.large.2 2 4 3/0.8 30 2 2 KVM kc1.xlarge.2 4 8 5/1.5 50 2 3 KVM kc1.2xlarge.2 8 16 7/3 80 4 4 KVM kc1.3xlarge.2 12 24 9/4.5 110 4 5 KVM kc1.4xlarge.2 16 32 12/6 140 4 6 KVM kc1.6xlarge.2 24 48 15/8.5 200 8 6 KVM kc1.8xlarge.2 32 64 18/10 260 8 6 KVM kc1.12xlarge.2 48 96 25/16 350 16 6 KVM kc1.15xlarge.2 60 120 30/20 400 16 6 KVM kc1.large.4 2 8 3/0.8 30 2 2 KVM kc1.xlarge.4 4 16 5/1.5 50 2 3 KVM kc1.2xlarge.4 8 32 7/3 80 4 4 KVM kc1.3xlarge.4 12 48 9/4.5 110 4 5 KVM kc1.4xlarge.4 16 64 12/6 140 4 6 KVM kc1.6xlarge.4 24 96 15/8.5 200 8 6 KVM kc1.8xlarge.4 32 128 18/10 260 8 6 KVM kc1.12xlarge.4 48 192 25/16 350 16 6 KVM 表33 kC1n型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 kc1n.2xlarge.4 8 32 7/3 80 4 4 KVM kc1n.4xlarge.2 16 32 12/6 140 4 6 KVM kc1n.4xlarge.4 16 64 12/6 140 4 6 KVM kc1n.12xlarge.2 48 96 25/16 350 16 6 KVM kc1n.12xlarge.4 48 192 25/16 350 16 6 KVM
-
磁盘增强型 磁盘增强型弹性云服务器自带高存储带宽和IOPS的本地盘,具有高存储IOPS以及读写带宽的优势。同时,本地盘的价格更加低廉,在海量数据存储场景下,具备更高的性价比。 表28 磁盘增强型实例特点 规格名称 计算 网络 支持集群类型 磁盘增强型D7 CPU/内存配比:1:4 vCPU数量范围:4-72 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:850万PPS 最大内网带宽:42Gbps CCE Standard集群 CCE Turbo集群 磁盘增强型D6 CPU/内存配比:1:4 vCPU数量范围:4-72 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:900万PPS 最大内网带宽:44Gbps CCE Standard集群 CCE Turbo集群 表29 D7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 d7.xlarge.4 4 16 5/1.7 60 2 3 32 2 × 3600 KVM d7.2xlarge.4 8 32 10/3.5 120 4 4 64 4 × 3600 KVM d7.4xlarge.4 16 64 20/6.7 240 4 6 96 8 × 3600 KVM d7.6xlarge.4 24 96 25/10 350 8 8 128 12 × 3600 KVM d7.8xlarge.4 32 128 30/13.5 450 8 8 192 16 × 3600 KVM d7.12xlarge.4 48 192 40/20 650 16 8 256 24 × 3600 KVM d7.16xlarge.4 64 256 42/27 850 16 8 256 32 × 3600 KVM 表30 D6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 本地盘 (GiB) 虚拟化类型 d6.xlarge.4 4 16 5/2 60 2 3 2 × 3600 KVM d6.2xlarge.4 8 32 10/4 120 4 4 4 × 3600 KVM d6.4xlarge.4 16 64 20/7.5 240 8 8 8 × 3600 KVM d6.6xlarge.4 24 96 25/11 350 8 8 12 × 3600 KVM d6.8xlarge.4 32 128 30/15 450 16 8 16 × 3600 KVM d6.12xlarge.4 48 192 40/22 650 16 8 24 × 3600 KVM d6.16xlarge.4 64 256 42/30 850 32 8 32 × 3600 KVM d6.18xlarge.4 72 288 44/34 900 32 8 36 × 3600 KVM
-
GPU加速型 GPU加速型云服务器(GPU Accelerated Cloud Server,GA CS )能够提供强大的浮点计算能力,从容应对高实时、高并发的海量计算场景。 GPU加速型云服务器包括G系列和P系列两类。其中: G系列:图形加速型弹性云服务器,适合于3D动画渲染、CAD等。 P系列:计算加速型或推理加速型弹性云服务器,适合于深度学习、科学计算、CAE等。 表21 GPU加速实例总览 类别 实例 GPU显卡 单卡Cuda Core数量 单卡GPU性能 使用场景 支持集群类型 图形加速型 G6 NVIDIA T4(GPU直通) 2560 8.1TFLOPS 单精度浮点计算 130INT8 TOPS 260INT4 TOPS 云桌面 、图像渲染、3D可视化、重载图形设计。 CCE Standard集群 图形加速型 G5 NVIDIA V100(GPU直通) 5120 14TFLOPS 单精度浮点计算 7TFLOPS 双精度浮点计算 112TFLOPS Tensor Core 深度学习加速 云桌面、图像渲染、3D可视化、重载图形设计。 CCE Standard集群 计算加速型 P2s NVIDIA V100 5120 14TFLOPS 单精度浮点计算 7TFLOPS 双精度浮点计算 112TFLOPS Tensor Core 深度学习加速 AI深度学习训练、科学计算、计算流体动力学、计算金融、地震分析、分子建模、基因组学。 CCE Standard集群 计算加速型 P2v NVIDIA V100 NVLink(GPU直通) 5120 15.7TFLOPS 单精度浮点计算 7.8TFLOPS 双精度浮点计算 125TFLOPS Tensor Core 深度学习加速 300GiB/s NVLINK 机器学习、深度学习、训练推理、科学计算、地震分析、计算金融学、渲染、多媒体编解码。 CCE Standard集群 推理加速型 Pi2 NVIDIA T4(GPU直通) 2560 8.1TFLOPS 单精度浮点计算 130INT8 TOPS 260INT4 TOPS 机器学习、深度学习、训练推理、科学计算、地震分析、计算金融学、渲染、多媒体编解码。 CCE Standard集群 推理加速型 Pi1 NVIDIA P4(GPU直通) 2560 5.5TFLOPS 单精度浮点计算 机器学习、深度学习、训练推理、科学计算、地震分析、计算金融学、渲染、多媒体编解码。 CCE Standard集群 表22 G6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 GPU 显存 (GiB) 虚拟化类型 g6.xlarge.4 4 16 6/2 200 8 8 1 × T4 16 KVM g6.4xlarge.4 16 64 15/8 200 8 8 1 × T4 16 KVM g6.6xlarge.4 24 96 25/15 200 8 8 1 × T4 16 KVM g6.9xlarge.7 36 252 25/15 200 16 8 1 × T4 16 KVM g6.18xlarge.7 72 504 30/30 400 32 16 2 × T4 32 KVM 表23 G5型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 GPU 显存 (GiB) 虚拟化类型 g5.8xlarge.4 32 128 25/15 200 16 1 × V100 16 KVM 表24 P2s型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力(万PPS) 网卡多队列数 网卡个数上限 GPU GPU连接技术 显存(GiB) 虚拟化类型 p2s.2xlarge.8 8 64 10/4 50 4 4 1 × V100 PCIe Gen3 1 × 32GiB KVM p2s.4xlarge.8 16 128 15/8 100 8 8 2 × V100 PCIe Gen3 2 × 32GiB KVM p2s.8xlarge.8 32 256 25/15 200 16 8 4 × V100 PCIe Gen3 4 × 32GiB KVM p2s.16xlarge.8 64 512 30/30 400 32 8 8 × V100 PCIe Gen3 8 × 32GiB KVM 表25 P2v型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力(万PPS) 网卡多队列数 网卡个数上限 GPU GPU连接技术 显存 (GiB) 虚拟化类型 p2v.2xlarge.8 8 64 10/4 50 4 4 1 × V100 - 1 × 16GiB KVM p2v.4xlarge.8 16 128 15/8 100 8 8 2 × V100 NVLink 2 × 16GiB KVM p2v.8xlarge.8 32 256 25/15 200 16 8 4 × V100 NVLink 4 × 16GiB KVM p2v.16xlarge.8 64 512 30/30 400 32 8 8 × V100 NVLink 8 × 16GiB KVM 表26 Pi2型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 GPU 显存 (GiB) 本地盘 虚拟化类型 pi2.2xlarge.4 8 32 10/4 50 4 4 1 × T4 1 × 16 - KVM pi2.4xlarge.4 16 64 15/8 100 8 8 2 × T4 2 × 16 - KVM pi2.8xlarge.4 32 128 25/15 200 16 8 4 × T4 4 × 16 - KVM 表27 Pi1型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 GPU 显存 (GiB) 本地盘 虚拟化类型 pi1.2xlarge.4 8 32 5/1.6 40 2 1 × P4 1 × 8GiB - KVM pi1.4xlarge.4 16 64 8/3.2 70 4 2 × P4 2 × 8GiB - KVM pi1.8xlarge.4 32 128 10/6.5 140 8 4 × P4 4 × 8GiB - KVM
-
通用入门型 通用入门型弹性云服务器性能受到基准性能和CPU积分的约束,适用于平时CPU都保持较低利用率而又需要瞬时冲高的场景,是成本最低的通用型实例。 使用积分机制不额外收取费用,详情请参见CPU积分计算方法。 表19 通用入门型实例特点 规格名称 计算 网络 支持集群类型 通用入门型T6 CPU/内存配比:1:1/1:2/1:4 vCPU数量范围:2-16 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:2.2GHz/3.0GHz 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:60万PPS 最大内网带宽:3Gbps CCE Standard集群 表20 T6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 基准CPU计算性能(%) 平均基准CPU计算性能(%) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡个数上限 虚拟化类型 t6.xlarge.1 4 4 80 20 1/0.2 20 2 KVM t6.2xlarge.1 8 8 120 15 2/0.4 40 2 KVM t6.4xlarge.1 16 16 240 15 3/0.8 60 2 KVM t6.large.2 2 4 40 20 0.5/0.1 10 1 KVM t6.xlarge.2 4 8 80 20 1/0.2 20 2 KVM t6.2xlarge.2 8 16 120 15 2/0.4 40 2 KVM t6.4xlarge.2 16 32 240 15 3/0.8 60 2 KVM t6.large.4 2 8 40 20 0.5/0.1 10 1 KVM t6.xlarge.4 4 16 80 20 1/0.2 20 2 KVM t6.2xlarge.4 8 32 120 15 2/0.4 40 2 KVM
-
内存优化型 内存优化型弹性云服务器可应对大型内存数据集和高网络场景。适用于内存要求高,数据量大并且数据访问量大,同时要求快速的数据交换和处理。 表14 内存优化型实例特点 规格名称 计算 网络 支持集群类型 内存优化型M7 CPU/内存配比:1:8 vCPU数量范围:2-128 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1200万PPS 最大内网带宽:42Gbps CCE Standard集群 CCE Turbo集群 内存优化型M6ne CPU/内存配比:1:8 vCPU数量范围:2-64 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1000万PPS 最大内网带宽:40Gbps CCE Turbo集群 内存优化型M6 CPU/内存配比:1:8 vCPU数量范围:2-64 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1000万PPS 最大内网带宽:40Gbps CCE Standard集群 内存优化型M3 CPU/内存配比:1:8 vCPU数量范围:2-60 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:500万PPS 最大内网带宽:17Gbps CCE Standard集群 表15 M7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 虚拟化类型 m7.large.8 2 16 4/0.8 40 2 2 16 基于擎天架构的自研极简虚拟化 m7.xlarge.8 4 32 8/1.6 80 2 3 32 m7.2xlarge.8 8 64 15/3 150 4 4 64 m7.3xlarge.8 12 96 17/5 200 4 6 96 m7.4xlarge.8 16 128 20/6 280 8 8 128 m7.6xlarge.8 24 192 25/9 400 8 8 192 m7.8xlarge.8 32 256 30/12 550 16 8 256 m7.12xlarge.8 48 384 35/18 750 16 8 256 m7.16xlarge.8 64 512 36/24 1000 28 8 256 m7.24xlarge.8 96 768 40/36 1100 32 8 256 m7.32xlarge.8 128 1024 42/40 1200 32 8 256 表16 M6ne型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 m6ne.large.8 2 16 4/1.2 40 2 2 16 m6ne.xlarge.8 4 32 8/2.4 80 2 3 32 m6ne.2xlarge.8 8 64 15/4.5 150 4 4 64 m6ne.3xlarge.8 12 96 17/7 200 4 6 96 m6ne.4xlarge.8 16 128 20/9 280 8 8 128 m6ne.6xlarge.8 24 192 25/14 400 8 8 192 m6ne.8xlarge.8 32 256 30/18 550 16 8 256 m6ne.16xlarge.8 64 512 40/36 1000 32 8 256 表17 M6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 m6.large.8 2 16 4/1.2 40 2 2 KVM m6.xlarge.8 4 32 8/2.4 80 2 3 KVM m6.2xlarge.8 8 64 15/4.5 150 4 4 KVM m6.3xlarge.8 12 96 17/7 200 4 6 KVM m6.4xlarge.8 16 128 20/9 280 8 8 KVM m6.6xlarge.8 24 192 25/14 400 8 8 KVM m6.8xlarge.8 32 256 30/18 550 16 8 KVM m6.12xlarge.8 48 384 35/27 750 16 8 KVM m6.16xlarge.8 64 512 40/36 1000 32 8 KVM m6.22xlarge.8.physical 88 768 40/40 1000 16 33 裸金属 表18 M3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 虚拟化类型 m3.large.8 2 16 1.5/0.6 30 2 KVM m3.xlarge.8 4 32 3/1.1 50 2 KVM m3.2xlarge.8 8 64 5/2 90 4 KVM m3.3xlarge.8 12 96 8/3.5 110 4 KVM m3.4xlarge.8 16 128 10/4.5 130 4 KVM m3.6xlarge.8 24 192 12/6.5 200 8 KVM m3.8xlarge.8 32 256 15/9 260 8 KVM m3.15xlarge.8 60 512 17/17 500 16 KVM
-
通用型 通用型弹性云服务器提供基本水平的vCPU性能、平衡的计算、内存和网络资源,同时可根据工作负载的需要实现性能的突增,具有短期发挥更高性能的能力。 表8 通用型实例特点 规格名称 计算 网络 支持集群类型 通用计算型S7 CPU/内存配比:1:2/1:4 vCPU数量范围:2-8 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:2.8GHz/3.5GHz 支持IPv6 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:50万PPS 最大内网带宽:3Gbps CCE Standard集群 CCE Turbo集群 通用计算型S6 CPU/内存配比:1:2/1:4 vCPU数量范围:2-8 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持IPv6 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:50万PPS 最大内网带宽:3Gbps CCE Standard集群 通用计算型Sn3 CPU/内存配比:1:2/1:4 vCPU数量范围:2-16 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:2.2GHz/3.0GHz 支持IPv6 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:50万PPS 最大内网带宽:3Gbps CCE Standard集群 通用计算型S3 CPU/内存配比:1:2/1:4 vCPU数量范围:2-16 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:2.2GHz/3.0GHz 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:30万PPS 最大内网带宽:4Gbps CCE Standard集群 通用计算型S2 CPU/内存配比:1:2/1:4 vCPU数量范围:2-32 处理器:英特尔® 至强® 处理器E5 v4家族 基频/睿频:2.4GHz/3.3GHz 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:50万PPS 最大内网带宽:6Gbps CCE Standard集群 表9 S7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 虚拟化类型 s7.large.2 2 4 1.5/0.2 15 1 2 8 KVM s7.xlarge.2 4 8 2/0.35 25 1 2 16 KVM s7.2xlarge.2 8 16 3/0.75 50 2 2 32 KVM s7.large.4 2 8 1.5/0.2 15 1 2 8 KVM s7.xlarge.4 4 16 2/0.35 25 1 2 16 KVM s7.2xlarge.4 8 32 3/0.75 50 2 2 32 KVM 表10 S6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 s6.large.2 2 4 1.5/0.2 15 1 2 KVM s6.xlarge.2 4 8 2/0.35 25 1 2 KVM s6.2xlarge.2 8 16 3/0.75 50 2 2 KVM s6.large.4 2 8 1.5/0.2 15 1 2 KVM s6.xlarge.4 4 16 2/0.35 25 1 2 KVM s6.2xlarge.4 8 32 3/0.75 50 2 2 KVM 表11 Sn3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 sn3.large.2 2 4 1.5/0.35 15 1 2 KVM sn3.xlarge.2 4 8 2/0.7 25 1 2 KVM sn3.2xlarge.2 8 16 3/1.3 50 2 2 KVM sn3.4xlarge.2 16 32 6/2.5 100 4 2 KVM sn3.large.4 2 8 1.5/0.35 15 1 2 KVM sn3.xlarge.4 4 16 2/0.7 25 1 2 KVM sn3.2xlarge.4 8 32 3/1.3 50 2 2 KVM sn3.4xlarge.4 16 64 6/2.5 100 4 2 KVM 表12 S3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 虚拟化类型 s3.large.2 2 4 0.8/0.2 10 1 KVM s3.xlarge.2 4 8 1.5/0.4 15 1 KVM s3.2xlarge.2 8 16 3/0.8 20 2 KVM s3.4xlarge.2 16 32 4/1.5 30 4 KVM s3.large.4 2 8 0.8/0.2 10 1 KVM s3.xlarge.4 4 16 1.5/0.4 15 1 KVM s3.2xlarge.4 8 32 3/0.8 20 2 KVM s3.4xlarge.4 16 64 4/1.5 30 4 KVM 表13 S2型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 虚拟化类型 s2.large.2 2 4 0.8/0.2 10 1 KVM s2.xlarge.2 4 8 1.5/0.4 15 1 KVM s2.2xlarge.2 8 16 3/0.8 20 2 KVM s2.4xlarge.2 16 32 4/1.5 30 4 KVM s2.8xlarge.2 32 64 6/3 50 8 KVM s2.large.4 2 8 0.8/0.2 10 1 KVM s2.xlarge.4 4 16 1.5/0.4 15 1 KVM s2.2xlarge.4 8 32 3/0.8 20 2 KVM s2.4xlarge.4 16 64 4/1.5 30 4 KVM s2.8xlarge.4 32 128 6/3 50 8 KVM
-
通用计算增强型 通用计算增强型弹性云服务器是CPU独享型实例,实例间无CPU资源争抢,性能强劲稳定,搭载全新网络加速引擎,提供更高的网络性能。 表1 通用计算增强型实例特点 规格名称 计算 网络 支持集群类型 通用计算增强型aC7 CPU/内存配比:1:2/1:4 vCPU数量范围:2-232 基频/睿频:2.45GHz/3.5GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:2000万PPS 最大内网带宽:100Gbps CCE Standard集群 CCE Turbo集群 通用计算增强型C7 CPU/内存配比:1:2/1:4 vCPU数量范围:2-128 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz、2.8GHz/3.5GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1200万PPS 最大内网带宽:42Gbps CCE Standard集群 CCE Turbo集群 通用计算增强型C6ne CPU/内存配比:1:2/1:4 vCPU数量范围:2-64 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1000万PPS 最大内网带宽:40Gbps CCE Turbo集群 通用计算增强型C6s CPU/内存配比:1:2 vCPU数量范围:2-64 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:850万PPS 最大内网带宽:30Gbps CCE Standard集群 通用计算增强型C6 CPU/内存配比:1:2/1:4 vCPU数量范围:2-88 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:1200万PPS 最大内网带宽:44Gbps CCE Standard集群 通用计算增强型C3 CPU/内存配比:1:2/1:4 vCPU数量范围:2-60 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:500万PPS 最大内网带宽:16Gbps CCE Standard集群 表2 aC7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 虚拟化类型 ac7.large.2 2 4 2/1 40 2 2 16 KVM ac7.xlarge.2 4 8 3/1.5 60 2 3 32 ac7.2xlarge.2 8 16 4/2.5 100 4 4 64 ac7.3xlarge.2 12 24 6/4 150 4 6 96 ac7.4xlarge.2 16 32 8/5 200 8 8 128 ac7.6xlarge.2 24 48 12/6 250 8 8 192 ac7.8xlarge.2 32 64 15/8 300 16 8 256 ac7.12xlarge.2 48 96 22/12 400 16 8 256 ac7.16xlarge.2 64 128 28/16 550 24 12 256 ac7.24xlarge.2 96 192 40/25 800 24 12 256 ac7.29xlarge.2 116 216 50/30 950 32 16 256 ac7.32xlarge.2 128 256 55/35 1000 32 16 256 ac7.48xlarge.2 192 384 100/80 1600 32 16 256 ac7.58xlarge.2 232 432 120/100 2000 32 16 256 ac7.large.4 2 8 2/1 40 2 2 16 ac7.xlarge.4 4 16 3/1.5 60 2 3 32 ac7.2xlarge.4 8 32 4/2.5 100 4 4 64 ac7.3xlarge.4 12 48 6/4 150 4 6 96 ac7.4xlarge.4 16 64 8/5 200 8 8 128 ac7.6xlarge.4 24 96 12/6 250 8 8 192 ac7.8xlarge.4 32 128 15/8 300 16 8 256 ac7.12xlarge.4 48 192 22/12 400 16 8 256 ac7.16xlarge.4 64 256 28/16 550 24 12 256 ac7.24xlarge.4 96 384 40/25 800 24 12 256 ac7.29xlarge.4 116 464 50/30 950 32 16 256 ac7.32xlarge.4 128 512 55/35 1000 32 16 256 ac7.48xlarge.4 192 768 100/80 1600 32 16 256 ac7.58xlarge.4 232 928 120/100 2000 32 16 256 表3 C7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 虚拟化类型 c7.large.2 2 4 4/0.8 40 2 2 16 基于QingTian架构的自研极简虚拟化 c7.xlarge.2 4 8 8/1.6 80 2 3 32 c7.2xlarge.2 8 16 15/3 150 4 4 64 c7.3xlarge.2 12 24 17/5 200 4 6 96 c7.4xlarge.2 16 32 20/6 280 8 8 128 c7.6xlarge.2 24 48 25/9 400 8 8 192 c7.8xlarge.2 32 64 30/12 550 16 8 256 c7.12xlarge.2 48 96 35/18 750 16 8 256 c7.16xlarge.2 64 128 36/24 1000 28 8 256 c7.24xlarge.2 96 192 40/36 1100 32 8 256 c7.32xlarge.2 128 256 42/40 1200 32 8 256 c7.large.4 2 8 4/0.8 40 2 2 16 c7.xlarge.4 4 16 8/1.6 80 2 3 32 c7.2xlarge.4 8 32 15/3 150 4 4 64 c7.3xlarge.4 12 48 17/5 200 4 6 96 c7.4xlarge.4 16 64 20/6 280 8 8 128 c7.6xlarge.4 24 96 25/9 400 8 8 192 c7.8xlarge.4 32 128 30/12 550 16 8 256 c7.12xlarge.4 48 192 35/18 750 16 8 256 c7.16xlarge.4 64 256 36/24 1000 28 8 256 c7.24xlarge.4 96 384 40/36 1100 32 8 256 c7.32xlarge.4 128 512 42/40 1200 32 8 256 表4 C6ne型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 c6ne.large.2 2 4 4/1.2 40 2 2 16 c6ne.large.4 2 8 4/1.2 40 2 2 16 c6ne.xlarge.2 4 8 8/2.4 80 2 3 32 c6ne.xlarge.4 4 16 8/2.4 80 2 3 32 c6ne.2xlarge.2 8 16 15/4.5 150 4 4 64 c6ne.2xlarge.4 8 32 15/4.5 150 4 4 64 c6ne.3xlarge.2 12 24 17/7 200 4 6 96 c6ne.3xlarge.4 12 48 17/7 200 4 6 96 c6ne.4xlarge.2 16 32 20/9 280 8 8 128 c6ne.4xlarge.4 16 64 20/9 280 8 8 128 c6ne.6xlarge.2 24 48 25/14 400 8 8 192 c6ne.6xlarge.4 24 96 25/14 400 8 8 192 c6ne.8xlarge.2 32 64 30/18 550 16 8 256 c6ne.8xlarge.4 32 128 30/18 550 16 8 256 c6ne.12xlarge.2 48 96 35/27 750 16 8 256 c6ne.12xlarge.4 48 192 35/27 750 16 8 256 c6ne.16xlarge.2 64 128 40/36 1,000 32 8 256 c6ne.16xlarge.4 64 256 40/36 1,000 32 8 256 表5 C6s型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 c6s.large.2 2 4 1/1 30 2 2 KVM c6s.xlarge.2 4 8 2/2 60 2 3 KVM c6s.2xlarge.2 8 16 4/4 120 4 4 KVM c6s.3xlarge.2 12 24 5.5/5.5 180 4 6 KVM c6s.4xlarge.2 16 32 7.5/7.5 240 8 8 KVM c6s.6xlarge.2 24 48 11/11 350 8 8 KVM c6s.8xlarge.2 32 64 15/15 450 16 8 KVM c6s.12xlarge.2 48 96 22/22 650 16 8 KVM c6s.16xlarge.2 64 128 30/30 850 32 8 KVM 表6 C6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 虚拟化类型 c6.large.2 2 4 4/1.2 40 2 2 KVM/QingTian虚拟化 c6.xlarge.2 4 8 8/2.4 80 2 3 KVM/QingTian虚拟化 c6.2xlarge.2 8 16 15/4.5 150 4 4 KVM/QingTian虚拟化 c6.3xlarge.2 12 24 17/7 200 4 6 KVM/QingTian虚拟化 c6.4xlarge.2 16 32 20/9 280 8 8 KVM/QingTian虚拟化 c6.6xlarge.2 24 48 25/14 400 8 8 KVM/QingTian虚拟化 c6.8xlarge.2 32 64 30/18 550 16 8 KVM/QingTian虚拟化 c6.12xlarge.2 48 96 35/27 750 16 8 KVM/QingTian虚拟化 c6.16xlarge.2 64 128 40/36 1000 32 8 KVM/QingTian虚拟化 c6.22xlarge.2 88 176 44/40 1200 28 8 KVM/QingTian虚拟化 c6.22xlarge.2.physical 88 192 44/40 1000 16 33 裸金属 c6.large.4 2 8 4/1.2 40 2 2 KVM/QingTian虚拟化 c6.xlarge.4 4 16 8/2.4 80 2 3 KVM/QingTian虚拟化 c6.2xlarge.4 8 32 15/4.5 150 4 4 KVM/QingTian虚拟化 c6.3xlarge.4 12 48 17/7 200 4 6 KVM/QingTian虚拟化 c6.4xlarge.4 16 64 20/9 280 8 8 KVM/QingTian虚拟化 c6.6xlarge.4 24 96 25/14 400 8 8 KVM/QingTian虚拟化 c6.8xlarge.4 32 128 30/18 550 16 8 KVM/QingTian虚拟化 c6.12xlarge.4 48 192 35/27 750 16 8 KVM/QingTian虚拟化 c6.16xlarge.4 64 256 40/36 1000 32 8 KVM/QingTian虚拟化 c6.22xlarge.4 88 352 44/40 1200 28 8 KVM/QingTian虚拟化 c6.22xlarge.4.physical 88 384 44/40 1000 16 33 裸金属 表7 C3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 虚拟化类型 c3.large.2 2 4 1.5/0.6 30 2 KVM c3.xlarge.2 4 8 3/1 50 2 KVM c3.2xlarge.2 8 16 5/2 90 4 KVM c3.3xlarge.2 12 24 7/3 110 4 KVM c3.4xlarge.2 16 32 10/4 130 4 KVM c3.6xlarge.2 24 48 12/6 200 8 KVM c3.8xlarge.2 32 64 15/8 260 8 KVM c3.15xlarge.2 60 128 16/16 500 16 KVM c3.large.4 2 8 1.5/0.6 30 2 KVM c3.xlarge.4 4 16 3/1 50 2 KVM c3.2xlarge.4 8 32 5/2 90 4 KVM c3.3xlarge.4 12 48 7/3 110 4 KVM c3.4xlarge.4 16 64 10/4 130 4 KVM c3.6xlarge.4 24 96 12/6 200 8 KVM c3.8xlarge.4 32 128 15/8 260 8 KVM c3.15xlarge.4 60 256 16/16 500 16 KVM
-
配置管理 为方便对CCE集群中的Kubernetes配置参数进行管理,CCE提供了配置管理功能,通过该功能您可以对核心组件进行深度配置,更多信息请参见kubelet。 仅支持在v1.15及以上版本的集群中对节点池进行配置,V1.15以下版本不显示该功能。 登录CCE控制台。 单击集群名称进入集群,在左侧选择“节点管理”,在右侧选择“节点池”页签。 单击节点池名称后的“配置管理”。 在侧边栏滑出的“配置管理”窗口中,根据业务需求修改Kubernetes的参数值: 表1 kubelet组件配置 名称 参数 参数说明 取值 修改说明 CPU管理策略配置 cpu-manager-policy CPU管理策略配置,详情请参见CPU调度。 none:关闭工作负载实例独占CPU的功能,优点是CPU共享池的可分配核数较多。 static:开启工作负载实例独占CPU,适用于对CPU缓存和调度延迟敏感的场景。 enhanced-static:在支持CPU独占的基础上,增强支持给Burstable Pods配置CPU优先使用核,适用于波峰、波谷相差大且大部分时间处于波谷状态的工作负载。 默认:none - 请求至kube-apiserver的QPS配置 kube-api-qps 与APIServer通信的每秒查询个数。 默认:100 - 请求至kube-apiserver的Burst配置 kube-api-burst 每秒发送到APIServer的突发请求数量上限。 默认:100 - kubelet管理的Pod上限 max-pods Node能运行的Pod最大数量。 CCE Standard集群:由节点最大实例数设置决定。 CCE Turbo集群:由节点网卡数量决定。 - 限制Pod中的进程数 pod-pids-limit 每个Pod中可使用的PID个数上限。 默认:-1,表示不限制 - 是否使用本地IP作为该节点的ClusterDNS with-local-dns 开启后,会自动在节点的kubelet配置中添加节点默认网卡IP作为首选 DNS地址 。 默认:关闭(参数值为false) - 事件创建QPS限制 event-qps 每秒可生成的事件数量。 默认:5 - 事件创建的个数的突发峰值上限 event-burst 突发性事件创建的上限值,允许突发性事件创建临时上升到所指定数量。 默认:10 - 允许使用的不安全系统配置 allowed-unsafe-sysctls 允许使用的不安全系统配置。 CCE从1.17.17集群版本开始,kube-apiserver开启了pod安全策略,需要在pod安全策略的allowedUnsafeSysctls中增加相应的配置才能生效(1.17.17以下版本的集群可不配置)。详情请参见Pod安全策略开放非安全系统配置示例。 默认:[] - 节点超卖特性 over-subscription-resource 节点超卖特性。 设置为true表示开启节点超卖特性,节点超卖的特性请参见动态资源超卖。 集群版本为v1.23.9-r0、v1.25.4-r0以下:默认为开启(参数值为true) 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0、v1.28.1-r0及以上:默认为关闭(参数值为false) - 节点混部特性 colocation 节点混部特性。 设置为true表示开启节点混部特性,节点混部的特性请参见动态资源超卖。 集群版本为v1.23.9-r0、v1.25.4-r0以下:默认为开启(参数值为true) 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0、v1.28.1-r0及以上:默认为关闭(参数值为false) - 拓扑管理策略 topology-manager-policy 设置拓扑管理策略。 合法值包括: restricted:kubelet 仅接受在所请求资源上实现最佳 NUMA对齐的Pod。 best-effort:kubelet会优先选择在 CPU 和设备资源上实现NUMA对齐的Pod。 none(默认):不启用拓扑管理策略。 single-numa-node:kubelet仅允许在 CPU和设备资源上对齐到同一NUMA节点的Pod。 默认:none 须知: 请谨慎修改,修改topology-manager-policy和topology-manager-scope会重启kubelet,并且以更改后的策略重新计算容器实例的资源分配,这有可能导致已经运行的容器实例重启甚至无法进行资源分配。 拓扑管理策略的资源对齐粒度 topology-manager-scope 设置拓扑管理策略的资源对齐粒度。合法值包括: container (默认):对齐粒度为容器级 pod:对齐粒度为Pod级 默认:container 容器指定DNS解析配置文件 resolv-conf 容器指定DNS解析配置文件 默认为空值 - 除长期运行的请求之外所有运行时请求的超时时长 runtime-request-timeout 除长期运行的请求(pull、 logs、exec和attach)之外所有运行时请求的超时时长。 默认为2m0s v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。 是否让kubelet每次仅拉取一个镜像 serialize-image-pulls 串行拉取镜像。 关闭:建议值,以支持并行拉取镜像,提高Pod启动速度。 开启:支持串行拉取镜像。 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0、v1.28.1-r0以下:默认为开启(参数值为true) 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0、v1.28.1-r0及以上:默认为关闭(参数值为false) v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。 每秒钟可以执行的镜像仓库拉取操作限值 registry-pull-qps 镜像仓库的QPS上限。 默认为5 取值范围为1~50 v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。 突发性镜像拉取的上限值 registry-burst 突发性镜像拉取的上限值,允许镜像拉取临时上升到所指定数量。 默认为10 取值范围为1~100,且取值必须大于等于registry-pull-qps的值。 v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。 容器的日志文件个数上限 container-log-max-files 每个容器日志文件的最大数量。当存在的日志文件数量超过这个值时,最旧的日志文件将被删除,以便为新的日志留出空间。 默认为10 取值范围为2~100 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 容器日志文件在轮换生成新文件时之前的最大值 container-log-max-size 每个容器的日志文件的最大大小。当日志文件达到这个大小时,将会触发日志轮换即关闭当前日志文件并创建新的日志文件以继续记录。 默认为50Mi 取值范围为1Mi~4096Mi v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 镜像垃圾回收上限百分比 image-gc-high-threshold 当kubelet磁盘达到多少时,kubelet开始回收镜像。 默认为80 取值范围为1~100 如果需要禁用镜像垃圾回收,请将该参数设置为100。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 镜像垃圾回收下限百分比 image-gc-low-threshold 回收镜像时当磁盘使用率减少至多少时停止回收。 默认为70 取值范围为1~100 该参数取值不得大于镜像垃圾回收上限百分比。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 节点内存预留 system-reserved-mem 系统内存预留,目的是为OS系统守护进程(如 sshd、udev 等)预留内存资源。 默认值:自动计算预留内存数,预留值随节点规格变动,具体请参见节点预留资源策略说明 可选配置如下: 自动计算预留内存数:建议使用自动计算预留内存数,以保证节点的稳定性。 预留值随节点规格变动,具体请参见节点预留资源策略说明。 自定义预留内存数:自定义节点预留内存分布。 kube-reserved-mem,system-reserved-mem之和小于节点池中节点最小内存规格的50%。 kube-reserved-mem Kubernetes组件内存预留,目的是为Kubernetes系统守护进程(如kubelet、container runtime等)预留内存资源。 evictionHard 硬驱逐配置项 memory.available 节点可用内存值 固定为100Mi 关于节点压力驱逐详情请参考节点压力驱逐。 须知: 驱逐配置项相关配置请谨慎修改,不合理的配置可能会导致节点频繁触发驱逐或节点已过载但未触发驱逐。 kubelet可识别以下两个特定的文件系统标识符: nodefs:节点的主要文件系统,用于本地磁盘卷、不受内存支持的 emptyDir 卷、日志存储等。 例如,nodefs 包含 /var/lib/kubelet/。 imagefs:容器引擎使用的文件系统分区。 对于共享数据盘,kubelet和容器引擎共用磁盘空间,此类场景建议仅配置nodefs驱逐信号门限或imagefs与nodefs门限配置一致。 nodefs.available Kubelet 使用的文件系统的可用容量的百分比 默认10% 取值范围为1%~99% nodefs.inodesFree Kubelet 使用的文件系统的可用inodes数的百分比 默认5% 取值范围为1%~99% imagefs.available 容器运行时存放镜像等资源的文件系统的可用容量的百分比 默认10% 取值范围为1%~99% imagefs.inodesFree 容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 默认为空,不设置 取值范围为1%~99% pid.available 留给分配 Pod 使用的可用 PID 数的百分比 默认10% 取值范围为1%~99% evictionSoft 软驱逐配置项 memory.available 节点可用内存值。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为100Mi~1000000Mi nodefs.available Kubelet 使用的文件系统的可用容量的百分比。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为1%~99% nodefs.inodesFree Kubelet 使用的文件系统的可用inodes数的百分比。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为1%~99% imagefs.available 容器运行时存放镜像等资源的文件系统的可用容量的百分比。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为1%~99% imagefs.inodesFree 容器运行时存放镜像等资源的文件系统的可用inodes数的百分比。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为1%~99% pid.available 留给分配 Pod 使用的可用 PID 数的百分比。 设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。 默认为空,不设置 取值范围为1%~99% 表2 kube-proxy组件配置 名称 参数 参数说明 取值 修改说明 系统中最大的连接跟踪表项数目 conntrack-min 系统中最大的连接跟踪表项数目。 可通过以下命令查询: sysctl -w net.nf_conntrack_max 默认:131072 - TCP连接在关闭状态下等待的时间 conntrack-tcp-timeout-close-wait 控制TCP连接在关闭状态下等待的时间。 可通过以下命令查询: sysctl -w net.netfilter.nf_conntrack_tcp_timeout_close_wait 默认:1h0m0s - 表3 网络组件配置(仅CCE Turbo集群可见) 名称 参数 参数说明 取值 修改说明 节点池网卡预热参数配置开关 enable-node-nic-configuration 是否开启节点池级别的网卡预热。 默认:关闭 节点池网络组件配置开关关闭后,节点池容器网卡动态预热参数将与集群级别保持一致。 nic-threshold nic-threshold 节点池级别的节点绑定容器网卡数低水位:节点绑定容器网卡数高水位 默认:0:0 说明: 此参数配置废弃中,请采用其他4个容器网卡动态预热参数。 节点池级别的节点最少绑定容器网卡数 nic-minimum-target 保障节点最少有多少张容器网卡绑定在节点上。 参数值需为正整数。例如10,表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。 默认:10 建议配置为大部分节点平时日常运行的Pod数。 节点池级别的节点预热容器网卡上限检查值 nic-maximum-target 当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target),不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时,则开启预热容器网卡上限值检查;反之,则关闭预热容器网卡上限值检查。 参数值需为正整数。例如0,表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。 默认:0 建议配置为大部分节点平时最多运行的Pod数。 节点池级别的节点动态预热容器网卡数 nic-warm-target 当Pod使用完节点最少绑定容器网卡数(nic-minimum-target)后,会始终额外预热多少张容器网卡,只支持数值配置。 当 节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数 大于 节点预热容器网卡上限检查值(nic-maximum-target) 时,只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。 默认:2 建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。 节点池级别的节点预热容器网卡回收阈值 nic-max-above-warm-target 只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值 时,才会触发预热容器网卡的解绑回收。只支持数值配置。 调大此值会减慢空闲容器网卡的回收,加快Pod的启动速度,但会降低IP地址的利用率,特别是在IP地址紧张的场景,请谨慎调大。 调小此值会加快空闲容器网卡的回收,提高IP地址的利用率,但在瞬时大量Pod激增的场景,部分Pod启动会稍微变慢。 默认:2 建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 - 大部分节点日常10s内会瞬时弹性扩容的Pod数。 表4 节点池Pod安全组配置(仅CCE Turbo集群可见) 名称 参数 参数说明 取值 修改说明 节点池上Pod默认使用的安全组 security_groups_for_nodepool 可填写安全组 ID,不配置则使用集群容器网络的默认安全组,并且最多可同时指定5个安全组ID,中间以英文分号(;)分隔。 优先级低于SecurityGroup资源对象配置的安全组。 - - 表5 容器引擎Docker配置(仅使用Docker的节点池可见) 名称 参数 参数说明 取值 修改说明 容器umask值 native-umask 默认值为normal,表示启动的容器umask值为0022。 默认:normal 不支持修改 单容器可用数据空间 docker-base-size 设置每个容器可使用的最大数据空间。 默认:0 不支持修改 不安全的镜像源地址 insecure-registry 是否允许使用不安全的镜像源地址。 false 不支持修改 容器core文件的大小限制 limitcore 容器core文件的大小限制,单位是Byte。 如果不设置大小限制,可设置为infinity。 默认:5368709120 - 容器内句柄数限制 default-ulimit-nofile 设置容器中可使用的句柄数上限。 默认:{soft}:{hard} 该值大小不可超过节点内核参数nr_open的值,且不能是负数。 节点内核参数nr_open可通过以下命令获取: sysctl -a | grep nr_open 镜像拉取超时时间 image-pull-progress-timeout 如果超时之前镜像没有拉取成功,本次镜像拉取将会被取消。 默认:1m0s 该参数在v1.25.3-r0版本开始支持 单次拉取镜像层的最大并发数 max-concurrent-downloads 设置拉取镜像层的最大并发数。 默认:3 取值范围为1~20 该参数如果设置过大,可能导致节点其他业务的网络性能受影响或导致磁盘IO和CPU增高。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 容器日志文件轮换生成新文件的最大值 max-size 容器日志文件开始转储的最大大小。当日志文件达到这个大小时,将会触发日志轮换即关闭当前日志文件并创建新的日志文件以继续记录。 默认为50Mi 取值范围为1Mi~4096Mi 该参数如果设置过小,可能导致重要日志信息的丢失;如果设置过大,则可能占用过多的磁盘空间。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 容器的日志文件个数上限 max-file 容器可以保留的日志文件的最大数量。当存在的日志文件数量超过这个值时,最旧的日志文件将被删除,以便为新的日志留出空间。 默认:20 取值范围为2~100 该参数如果设置过小,可能导致重要日志信息的丢失;如果设置过大,则可能占用过多的磁盘空间。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 表6 容器引擎Containerd配置(仅使用Containerd的节点池可见) 名称 参数 参数说明 取值 修改说明 单容器可用数据空间 devmapper-base-size 设置每个容器可使用的最大数据空间。 默认:0 不支持修改 容器core文件的大小限制 limitcore 容器core文件的大小限制,单位是Byte。 如果不设置大小限制,可设置为infinity。 默认:5368709120 - 容器内句柄数限制 default-ulimit-nofile 设置容器中可使用的句柄数上限。 默认:1048576 该值大小不可超过节点内核参数nr_open的值,且不能是负数。 节点内核参数nr_open可通过以下命令获取: sysctl -a | grep nr_open 镜像拉取超时时间 image-pull-progress-timeout 如果超时之前镜像没有拉取成功,本次镜像拉取将会被取消。 默认:1m0s 该参数在v1.25.3-r0版本开始支持 insecure_skip_verify insecure_skip_verify 跳过仓库证书验证。 默认:false 不支持修改 单次拉取镜像层的最大并发数 max-concurrent-downloads 设置拉取镜像层的最大并发数。 默认:3 取值范围为1~20 该参数如果设置过大,可能导致节点其他业务的网络性能受影响或导致磁盘IO和CPU增高。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 容器的最大日志行大小 max-container-log-line-size 是容器的最大日志行大小(以字节为单位)。超过限制的日志行将被分成多行。 默认:16384 取值范围为1~2097152 配置增大会增加containerd内存消耗。 v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 单击“确定”,完成配置操作。
-
集群维度 集群诊断场景 诊断项 是否需要开通监控中心 修复方案 集群资源规划能力 集群Master节点是否高可用 是 集群为单控制节点,控制节点故障时,集群将不可用,进而会影响集群中运行服务的可靠性。提升服务韧性建议使用高可用集群,当高可用集群某个控制节点故障时,不影响集群业务。 集群当前时间CPU的Request水位是否超过80% 是 Request代表工作负载运行的最低资源要求,集群水位过高,剩余资源不能够满足新应用Request要求时,应用将不能被创建。需要根据业务情况,合理规划资源分配。详见设置容器规格。 集群当前时间内存的Request水位是否超过80% 是 集群版本是否超期 否 集群版本EOS后,云容器引擎(CCE)将不再支持对该版本的集群创建,同时不提供相应的技术支持,包含新特性更新、漏洞/问题修复、补丁升级以及工单指导、在线排查等客户支持,不再适用于CCE服务SLA保障。请前往CCE的集群管理页面,升级集群版本。详见集群升级指导。 集群运维能力 集群kube-prometheus-stack插件状态是否正常 否 云原生监控插件kube-prometheus-stack主要提供了集群运维监控的能力,要体验一站式监控体系,需前往插件市场,安装插件并检查插件状态。插件详情参见云原生监控插件 集群log-agent插件状态是否正常 否 运维插件log-agent提供了集群中负载的日志采集、日志管理的能力,体验日志管理能力,帮助集群中服务问题快速定位定界。需前往插件市场,安装插件并检查插件状态。 集群npd插件状态是否正常 否 运维插件npd(node-problem-detector)提供了节点异常监控的能力。如需体验节点监控能力,检查节点资源异常情况。需前往插件市场,安装插件并检查插件状态。详见CCE节点故障检测。 集群配置 安全组配置是否正确 否 集群安全组配置异常,直接影响节点之前的通信,导致节点不可用。请使用默认安全组配置。
-
节点维度 集群诊断场景 诊断项 是否需要开通监控中心 修复方案 节点状态 节点状态是否就绪 是 节点为承载业务的核心资源,状态不就绪可能直接导致承载在节点上的业务受到影响,需立即修复。 节点状态不可调度 是 节点不可调度将导致节点资源不能被正常使用,请前往CCE节点管理,查看节点状态是否符合预期。 节点kubelet状态 是 kubelet为节点关键组件,不可用可能会导致节点异常,Pod状态不符合预期(与APIServer的Pod状态不一致)。可以到节点上通过如下命令查看kubelet日志,并分析异常原因。命令参考:journalctl -l -u kubelet 节点配置 节点当前时间内存的Requset水位是否超过80% 是 节点的Request水位将影响新应用能否被调度到该节点上。水位过高,剩余资源不满足应用要求时,该节点将不会被调度到。本诊断项已为您检测出了Request水位高出阈值的节点资源,可根据检测结果合理规划您的应用。 节点当前时间CPU的Request水位是否超过80% 是 节点资源水位诊断 节点24小时内CPU使用率最大值是否超过80% 是 节点的cpu过高将导致节点处理能力下降,影响节点上运行的服务。请前往监控中心,查询节点CPU使用状况,合理规划节点资源,或者对节点进行扩容。 节点24小时内内存使用率最大值是否超过80% 是 节点内存过高,存在节点OOM风险,影响节点上服务的可用性。请前往监控中心,查看节点内存使用状况,合理规划节点资源,或者对节点进行扩容。 节点磁盘使用率是否超过80% 是 节点磁盘使用率过高将影响系统Pod和业务Pod,请及时扩容。建议通过如下命令查看磁盘信息: lsblk 列出所有可用块设备的信息 df -h 列出挂载的每个磁盘中的可用磁盘空间量 fdisk -l 列出所有的分区 节点PID使用量是否正常 是 节点PID出现压力,可能导致节点不稳定,需释放无用进程或者修改PID上限。可以通过如下命令查看PID信息。 查看最大PID数:sysctl kernel.pid_max 查看当前的最大PID:ps -eLf|awk '{print $2}' | sort -rn| head -n 1 查看占用SPID最多的前5个进程:ps -elT | awk '{print $4}' | sort | uniq -c | sort -k1 -g | tail -5 节点24小时内是否发生OOM事件 是 节点出现OOM将使节点中的服务功能受损,可前往监控中心分析内存运行状况,合理规划资源,或者进行扩容。
-
自定义容器网络配置(CCE Turbo集群支持) 如您期望不同的命名空间或工作负载使用不同的子网网段或安全组,可创建一条策略,将子网/安全组信息和命名空间或工作负载进行绑定,详情请参见为命名空间/工作负载绑定子网及安全组。 容器绑定子网:Pod IP会被约束在特定的网段中,不同命名空间或工作负载之间可实现网络隔离。 容器绑定安全组:支持为同一命名空间或工作负载的Pod设置安全组规则,实现自定义访问策略。 仅CCE Turbo集群支持该配置。
-
集群容器网络预热配置(CCE Turbo集群支持) CCE Turbo集群会为每个Pod分配(申请并绑定)一张弹性网卡或辅助弹性网卡。容器场景下Pod支持极速弹性,而网卡创建绑定需要一定时间,影响了大规模批创场景下的容器启动速度。系统默认提供了容器网卡动态预热的能力,在尽可能提高IP的资源利用率的前提下,加快Pod的启动速度。集群预热配置为您的集群设置全局的预热策略,集群节点默认会根据集群预热配置选项进行容器网卡的预热。如您期望为一组节点设置独立的预热策略,建议您配置节点池预热。 仅CCE Turbo集群支持该配置。 是否启用容器网络全预热: 开启:开启容器网络全预热后,您的集群节点会预热申请节点规格上限的网卡数,如s7.large.2机型的节点辅助弹性网卡上限是16个,则系统会动态预热出16个辅助弹性网卡。 关闭:不启用容器网络全预热时,您可以自行定义预热参数。 表3 容器网卡动态预热参数 容器网卡动态预热参数 默认值 参数说明 配置建议 节点最少绑定容器网卡数(nic-minimum-target) 10 保障节点最少有多少张容器网卡绑定在节点上。 参数值需为正整数。例如10,表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。 建议配置为大部分节点平时日常运行的Pod数。 节点预热容器网卡上限检查值(nic-maximum-target) 0 当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target),不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时,则开启预热容器网卡上限值检查;反之,则关闭预热容器网卡上限值检查。 参数值需为正整数。例如0,表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。 建议配置为大部分节点平时最多运行的Pod数。 节点动态预热容器网卡数(nic-warm-target) 2 保障节点至少预热的容器网卡数,只支持数值配置。 当 节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数 大于 节点预热容器网卡上限检查值(nic-maximum-target) 时,只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。 建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。 节点预热容器网卡回收阈值(nic-max-above-warm-target) 2 只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值 时,才会触发预热容器网卡的解绑回收。只支持数值配置。 调大此值会减慢空闲容器网卡的回收,加快Pod的启动速度,但会降低IP地址的利用率,特别是在IP地址紧张的场景,请谨慎调大。 调小此值会加快空闲容器网卡的回收,提高IP地址的利用率,但在瞬时大量Pod激增的场景,部分Pod启动会稍微变慢。 建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 - 大部分节点日常10s内会瞬时弹性扩容的Pod数。
-
集群网络配置 表1 集群网络配置参数说明 参数名称 参数说明 虚拟私有云 显示集群所在虚拟私有云。 虚拟私有云(Virtual Private Cloud,简称VPC)可以为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境。您可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 虚拟私有云网段 显示虚拟私有云网段。 如需扩展虚拟私有云网段,请参见扩展集群VPC网段。 默认节点子网 显示集群的节点子网。 子网是用来管理弹性云服务器网络平面的一个网络,可以提供IP地址管理、DNS服务,子网内的弹性云服务器IP地址都属于该子网。 默认情况下,同一个VPC的所有子网内的弹性云服务器均可以进行通信,不同VPC的弹性云服务器不能进行通信。 不同VPC的弹性云服务器可通过VPC创建对等连接通信。 默认节点子网 | IPv4网段 显示集群的节点子网网段。 容器网络模型 显示集群的容器网络模型,集群创建成功后,网络模型不可更改。不同网络模型对比请参见容器网络模型对比。 节点默认安全组 显示集群节点默认安全组。您可以选择自定义的安全组作为集群默认的节点安全组,但是需要注意放通指定端口来保证正常通信。 如需要自定义配置安全组规则,修改后的安全组只作用于新创建的节点和新纳管的节点,存量节点需要手动修改节点安全组规则。 保留原有Pod IP的非伪装网段(VPC集群支持) 在VPC网络集群中,集群内的容器如果想要访问集群外,则需要将源容器IP进行SNAT,转换为节点IP(伪装成节点与外部通信)。配置后,节点默认不会将该网段IP进行SNAT,即不进行这种伪装。v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本支持该配置。 集群中的节点默认不会将目的IP为10.0.0.0/8,172.16.0.0/12,192.168.0.0/16 三个网段的报文进行SNAT,因为这三个网段CCE默认为私有网段,可以借由上层VPC直接将报文送达(即将这三个网段视为集群内的网络,默认三层可达)。 说明: 如果需要保证节点能正常访问跨节点的Pod,必须添加节点的子网网段。 同理,如果同VPC下的其他ECS节点需要能正常访问Pod IP,必须添加ECS所在子网网段。 Pod访问元数据(CCE Turbo集群支持) 是否允许集群中的Pod访问宿主机元数据。v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本支持该配置。 如果Pod在开关开启状态下创建,则该Pod能否访问元数据取决于开关状态。 如果Pod在开关关闭状态下创建,或是在历史版本集群中创建,则无论开关状态如何,Pod均无法访问元数据。如需访问元数据,需要在开关开启状态下重建Pod。
-
服务配置 表2 服务配置参数说明 参数名称 参数说明 服务转发模式 显示集群的转发模式,集群创建完成后,服务转发模式不可修改。当前支持IPVS和iptables两种转发模式,具体请参见iptables与IPVS如何选择。 服务网段 集群中的每个Service都有自己的地址,在CCE上创建集群时,可以指定Service的地址段(即服务网段)。服务网段不能和子网网段重合,而且服务网段也不能和容器网段重叠。服务网段只在集群内使用,不能在集群外使用。 服务端口范围配置 NodePort端口范围,默认范围为30000-32767,支持的修改范围为20106-32767。修改后需前往安全组页面同步修改节点安全组30000-32767的TCP/UDP端口范围,否则除默认端口外的其他端口将无法被外部访问。 说明: 端口号小于20106会和系统组件的健康检查端口冲突,引发集群不可用;端口号高于32767会和操作系统的随机端口冲突,影响性能。
-
编辑插件 本插件为系统默认安装,若需自定义参数,可参照如下步骤进行编辑。 登录CCE控制台,单击集群名称进入集群,单击左侧导航栏的“插件中心”,在右侧找到CCE容器存储插件(Everest)插件,单击“编辑”。 在编辑插件页面,查看“规格配置”。 表1 everest插件规格配置 参数 参数说明 实例数 插件实例的副本数量。 实例数为1时插件不具备高可用能力,当插件实例所在节点异常时可能导致插件功能无法正常使用,请谨慎选择。 容器 CCE容器存储插件(Everest)包含everest-csi-controller和everest-csi-driver两个组件,详情请参见组件说明。 设置插件支持的“参数配置”。 表2 everest插件参数配置 参数 参数说明 csi_attacher_worker_threads CCE容器存储插件(Everest)中同时处理挂EVS卷的worker数,默认值为“60”。 csi_attacher_detach_worker_threads CCE容器存储插件(Everest)中同时处理卸载EVS卷的worker数,默认值均为“60”。 volume_attaching_flow_ctrl CCE容器存储插件(Everest)在1分钟内可以挂载EVS卷的最大数量,此参数的默认值“0”表示everest插件不做挂卷限制,此时挂卷性能由底层存储资源决定。 cluster_id 集群ID。 default_vpc_id 集群所在VPC的ID。 disable_auto_mount_secret 挂载对象桶/并行文件系统时,是否允许使用默认的AKSK,默认为false。 enable_node_attacher 是否开启agent侧attacher,开启后由attacher负责处理VolumeAttachment。 flow_control 默认为空。用户无需填写。 over_subscription 本地存储池(local_storage)的超分比。默认为80,若本地存储池为100G,可以超分为180G使用。 project_id 集群所属项目ID。 CCE容器存储插件(Everest)针对大批量挂EVS卷的性能做了优化,用户可配置如下3个参数: csi_attacher_worker_threads csi_attacher_detach_worker_threads volume_attaching_flow_ctrl 上述三个参数由于存在关联性且与集群所在局点的底层存储资源限制有关,当您对大批量挂卷的性能有要求(大于500EVS卷/分钟)时,请联系客服,在指导下进行配置,否则可能会因为参数配置不合理导致出现everest插件运行不正常的情况。 单击“确定”。
-
安装插件 登录CCE控制台,单击集群名称进入集群,单击左侧导航栏的“插件中心”,在右侧找到CCE容器弹性引擎插件,单击“安装”。 在安装插件页面,设置“规格配置”。 表1 cce-hpa-controller插件规格配置 参数 参数说明 插件规格 该插件可配置“单实例”或“自定义”规格。 说明: 单实例仅用于验证场景,商用场景请根据集群规格使用"自定义"资源配置,cce-hpa-controller插件的规格大小主要受集群中总容器数量和伸缩策略数量影响,通常场景下建议每5000容器配置CPU 500m, 内存1000Mi资源,每1000伸缩策略CPU 100m,内存500Mi。 实例数 选择上方插件规格后,显示插件中的实例数。 选择“自定义”规格时,您可根据需求调整插件实例数。 实例数为1时插件不具备高可用能力,当插件实例所在节点异常时可能导致插件功能无法正常使用,请谨慎选择。 容器 选择插件规格后,显示插件容器的CPU和内存配额。 选择“自定义”规格时,您可根据需求调整插件实例的容器规格。 该插件可配置“单实例”或“自定义”规格。 实例数:选择自定义规格时,请根据业务需求选择合适的实例数。 容器:选择自定义规格时,请根据业务需求选择合适的容器配额。 设置插件实例的“调度策略”。 调度策略对于DaemonSet类型的插件实例不会生效。 设置多可用区部署或节点亲和策略时,需保证集群中存在满足调度策略的节点且拥有足够的资源,否则插件实例将无法运行。 表2 插件调度配置 参数 参数说明 多可用区部署 优先模式:优先将插件的Deployment实例调度到不同可用区的节点上,如集群下节点不满足多可用区,插件实例将调度到单可用区。 均分模式:插件Deployment实例均匀调度到当前集群下各可用区,增加新的可用区后建议扩容插件实例以实现跨可用区高可用部署;均分模式限制不同可用区间插件实例数相差不超过1,单个可用区资源不足会导致后续其他实例无法调度。 强制模式:插件Deployment实例强制调度到不同可用区的节点上,如集群下节点不满足多可用区,插件实例将无法全部运行。 节点亲和 不配置:插件实例不指定节点亲和调度。 指定节点调度:指定插件实例部署的节点。若不指定,将根据集群默认调度策略进行随机调度。 指定节点池调度:指定插件实例部署的节点池。若不指定,将根据集群默认调度策略进行随机调度。 自定义亲和策略:填写期望插件部署的节点标签实现更灵活的调度策略,若不填写将根据集群默认调度策略进行随机调度。 同时设置多条自定义亲和策略时,需要保证集群中存在同时满足所有亲和策略的节点,否则插件实例将无法运行。 容忍策略 容忍策略与节点的污点能力配合使用,允许(不强制)插件的 Deployment 实例调度到带有与之匹配的污点的节点上,也可用于控制插件的 Deployment 实例所在的节点被标记污点后插件的 Deployment 实例的驱逐策略。 插件会对实例添加针对node.kubernetes.io/not-ready和node.kubernetes.io/unreachable污点的默认容忍策略,容忍时间窗为60s。 详情请参见容忍策略。 单击“安装”。
-
版本记录 表4 CCE容器弹性引擎插件版本记录 插件版本 支持的集群版本 更新特性 1.4.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.3.43 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.3.42 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 1.3.16 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题。 1.3.14 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 1.3.10 v1.19 v1.21 v1.23 v1.25 周期规则不受冷却时间影响定时触发 1.3.7 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 1.3.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 CronHPA调整Deployment实例数,新增skip场景 1.3.1 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.2.12 v1.15 v1.17 v1.19 v1.21 插件性能优化,降低资源消耗 1.2.11 v1.15 v1.17 v1.19 v1.21 从K8s Metrics API查询资源指标 计算资源利用率时考虑未就绪的Pod 1.2.10 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.4 v1.15 v1.17 v1.19 插件依赖例行升级 支持配置插件资源规格 1.2.3 v1.15 v1.17 v1.19 适配ARM64节点部署 1.2.2 v1.15 v1.17 v1.19 增强健康检查能力 1.2.1 v1.15 v1.17 v1.19 适配CCE v1.19集群 更新插件为稳定版本 1.1.3 v1.15 v1.17 支持周期扩缩容规则
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- ...
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章