华为云用户手册
-
日志说明 边缘节点会上传系统日志和应用日志,您需要在IEF控制台上打开日志开关。 系统日志:边缘节点上IEF软件(如edge-core、edge-logger和edge-monitor等)产生的日志。 应用日志:边缘节点上部署的应用所产生的日志。 边缘节点会上传“/var/IEF/app/log”目录的日志,您可以在创建应用时将容器中目录挂载到“/var/IEF/app/log/{appName}”下,具体挂载方法请参见▪hostPath:将主机某个目录挂载到容器中。在 AOM 中可以按{appName}分类查看到应用的日志。 边缘节点会上传容器日志,日志组件会上传“{{DOCKER_ROOT_DIR}}/containers/{containerID}/{containerID}-json.log”文件的内容,DOCKER_ROOT_DIR可以通过docker info命令查询到,containerID就是容器ID。
-
IEF预置的告警 IEF为每个边缘节点预置了7个告警规则,这7类告警会自动上报到AOM。 告警名称 触发条件 清除条件 告警等级 容器引擎异常 边缘节点配置Docker使能时,查询Docker信息失败 Docker正常运行,EdgeCore能够获取到Docker信息 紧急 存活探针异常 应用配置存活探针,探针检测到异常 容器探针检测成功 重要 申请GPU资源失败 部署GPU应用,申请GPU资源失败 成功申请到GPU资源 紧急 获取GPU信息失败 边缘节点配置GPU使能时,查询GPU信息失败 成功查询到GPU信息 紧急 AK/SK无效 EdgeHub连续10次分发临时AK/SK,检测到过期或者状态异常 EdgeHub成功分发临时AK/SK 重要 应用重启 应用容器异常重启 无需清除 次要 容器绑定网卡异常 容器绑定的网卡发生异常 容器绑定的网卡状态正常 紧急 图6 查看告警
-
亲和与反亲和调度策略 在创建容器应用时,可以设置亲和/反亲和调度策略,例如将某类应用部署到某些特定的节点、不同应用部署到不同的节点等等。 IEF当前支持简易的调度策略,具体如下。 亲和性 容器应用与节点亲和:当容器应用与节点亲和时,容器应用只会调度到亲和的这些节点中。在设置节点的亲和与反亲和时,如果设置了与某些节点亲和,那就没有必要再设置与其他节点反亲和,因为与这些节点亲和了,必然不会调度到其他节点。 容器应用与容器应用亲和:当容器应用A与容器应用B亲和时,容器应用A只会调度到容器应用B所在的节点。 反亲和性 容器应用与节点反亲和:当容器应用与节点反亲和时,容器应用不会调度到反亲和的这些节点中。 容器应用与容器应用反亲和:当容器应用A与容器应用B反亲和时,容器应用A不会调度到容器应用B所在的节点。
-
亲和反亲和策略示例 您可以同时设置多个亲和反亲和对象。例如当前节点组有4个节点,Node1、Node2、Node3和Node4,容器应用App1的实例运行在Node1和Node2上,容器应用App2的实例运行在Node3上。这时您需要创建一个容器应用App3,容器应用App3与节点Node1、Node2、Node3亲和,与容器应用App1亲和,与容器应用App2反亲和,那容器应用App3只会被调度到Node1、Node2上。下图示例中,App3只有一个实例,被调度到了Node1上。 图1 App3被调度到Node1上
-
支持订阅的事件 当前支持订阅如下事件。 表1 支持订阅的事件 系统事件 Topic 资源类型 操作 实例创建 $hw/events/instance/+/created 应用实例(instance) created 实例更新 $hw/events/instance/+/updated 应用实例(instance) updated 实例删除 $hw/events/instance/+/deleted 应用实例(instance) deleted 应用删除 $hw/events/deployment/+/deleted 容器应用(deployment) deleted 应用创建 $hw/events/deployment/+/created 容器应用(deployment) created 应用更新 $hw/events/deployment/+/updated 容器应用(deployment) updated 节点创建 $hw/events/edgeNode/+/created 边缘节点(edgeNode) created 节点更新 $hw/events/edgeNode/+/updated 边缘节点(edgeNode) updated 节点删除 $hw/events/edgeNode/+/deleted 边缘节点(edgeNode) deleted 节点上线 $hw/events/edgeNode/+/online 边缘节点(edgeNode) online 节点离线 $hw/events/edgeNode/+/offline 边缘节点(edgeNode) offline 设备创建 $hw/events/device/+/created 终端设备(device) created 设备更新 $hw/events/device/+/updated 终端设备(device) updated 设备删除 $hw/events/device/+/deleted 终端设备(device) deleted
-
订阅后说明 创建系统订阅后,当有系统事件发生,在IEF控制台系统订阅列表中,会记录消息转发的次数。 图3 转发消息数 同时IEF会调用APIG中注册的API,请求消息体如下所示。请求消息体采用标准的CloudEvents格式,CloudEvents详细信息请参见这里。 { "data": { "event_type": "instance", "operation": "created", "timestamp": 134567677, "topic": "$hw/events/deployment/+/created", "name": "xxxx", "attributes": {"ID":"x"} }, "datacontenttype": "application/json", "source": "sysevents", "id": "xxxx", "time": "2020-11-5 xxx" } data:系统事件的数据。 event_type:资源类型,String类型。 operation:资源的操作类型,String类型。 topic:消息发送的Topic,String类型。 timestamp:事件产生的时间戳,Uint64类型。 name:资源名称,String类型。 attributes:资源的属性,删除资源时消息中无此参数,Object类型。 datacontenttype:系统事件数据内容的格式,String类型。 source:系统事件的来源,String类型。 id:系统事件ID,String类型。 time:系统事件产生时间,String类型。 当前支持的资源类型、操作和Topic如下表所示。 表2 支持订阅的事件 系统事件 Topic 资源类型 操作 实例创建 $hw/events/instance/+/created 应用实例(instance) created 实例更新 $hw/events/instance/+/updated 应用实例(instance) updated 实例删除 $hw/events/instance/+/deleted 应用实例(instance) deleted 应用删除 $hw/events/deployment/+/deleted 容器应用(deployment) deleted 应用创建 $hw/events/deployment/+/created 容器应用(deployment) created 应用更新 $hw/events/deployment/+/updated 容器应用(deployment) updated 节点创建 $hw/events/edgeNode/+/created 边缘节点(edgeNode) created 节点更新 $hw/events/edgeNode/+/updated 边缘节点(edgeNode) updated 节点删除 $hw/events/edgeNode/+/deleted 边缘节点(edgeNode) deleted 节点上线 $hw/events/edgeNode/+/online 边缘节点(edgeNode) online 节点离线 $hw/events/edgeNode/+/offline 边缘节点(edgeNode) offline 设备创建 $hw/events/device/+/created 终端设备(device) created 设备更新 $hw/events/device/+/updated 终端设备(device) updated 设备删除 $hw/events/device/+/deleted 终端设备(device) deleted
-
支持订阅的事件 当前支持订阅如下事件。 表1 支持订阅的事件 系统事件 Topic 资源类型 操作 实例创建 $hw/events/instance/+/created 应用实例(instance) created 实例更新 $hw/events/instance/+/updated 应用实例(instance) updated 实例删除 $hw/events/instance/+/deleted 应用实例(instance) deleted 应用删除 $hw/events/deployment/+/deleted 容器应用(deployment) deleted 应用创建 $hw/events/deployment/+/created 容器应用(deployment) created 应用更新 $hw/events/deployment/+/updated 容器应用(deployment) updated 节点上线 $hw/events/edgeNode/+/online 边缘节点(edgeNode) online 节点离线 $hw/events/edgeNode/+/offline 边缘节点(edgeNode) offline
-
订阅后说明 创建系统订阅后,当有系统事件发生,在IEF控制台系统订阅列表中,会记录消息转发的次数。 图3 转发消息数 同时IEF会调用APIG中注册的API,请求消息体如下所示。请求消息体采用标准的CloudEvents格式,CloudEvents详细信息请参见这里。 { "data": { "event_type": "instance", "operation": "created", "timestamp": 134567677, "topic": "$hw/events/deployment/+/created", "name": "xxxx", "attributes": {"ID":"x"} }, "datacontenttype": "application/json", "source": "sysevents", "id": "xxxx", "time": "2020-11-5 xxx" } data:系统事件的数据。 event_type:资源类型,String类型。 operation:资源的操作类型,String类型。 topic:消息发送的Topic,String类型。 timestamp:事件产生的时间戳,Uint64类型。 name:资源名称,String类型。 attributes:资源的属性,删除资源时消息中无此参数,Object类型。 datacontenttype:系统事件数据内容的格式,String类型。 source:系统事件的来源,String类型。 id:系统事件ID,String类型。 time:系统事件产生时间,String类型。 当前支持的资源类型、操作和Topic如表1所示。
-
操作步骤 登录 CTS 管理控制台。 选择左侧导航栏的“事件列表”,进入事件列表页面。 事件记录了云资源的操作详情,设置筛选条件,单击“查询”。 当前事件列表支持四个维度的组合查询,详细信息如下: 事件类型、事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中,“事件类型”选择“管理事件”,“事件来源”选择“IEF”。 图1 设置筛选条件 其中, 筛选类型选择“按资源ID”时,还需手动输入某个具体的资源ID,目前仅支持全字匹配模式的查询。 筛选类型选择“按资源名称”时,还需选择或手动输入某个具体的资源名称。 操作用户:在下拉框中选择某一具体的操作用户。 事件级别:可选项为“所有事件级别”、“Normal”、“Warning”、“Incident”,只可选择其中一项。 时间范围:可选项为“最近1小时”、“最近1天”、“最近1周”和“自定义时间段”,本示例选择“最近1周”。 在需要查看的事件左侧,单击图标展开该事件的详细信息。 图2 展开事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 关于 云审计 事件结构的关键字段详解,请参见“事件结构”。
-
操作步骤 登录CTS管理控制台。 选择左侧导航栏的“事件列表”,进入事件列表页面。 事件记录了云资源的操作详情,设置筛选条件,单击“查询”。 当前事件列表支持四个维度的组合查询,详细信息如下: 事件类型、事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中,“事件类型”选择“管理事件”,“事件来源”选择“IEF”。 图1 设置筛选条件 其中, 筛选类型选择“按资源ID”时,还需手动输入某个具体的资源ID,目前仅支持全字匹配模式的查询。 筛选类型选择“按资源名称”时,还需选择或手动输入某个具体的资源名称。 操作用户:在下拉框中选择某一具体的操作用户。 事件级别:可选项为“所有事件级别”、“Normal”、“Warning”、“Incident”,只可选择其中一项。 时间范围:可选项为“最近1小时”、“最近1天”、“最近1周”和“自定义时间段”,本示例选择“最近1周”。 在需要查看的事件左侧,单击图标展开该事件的详细信息。 图2 展开事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 关于云审计事件结构的关键字段详解,请参见“事件结构”。
-
支持审计的关键操作列表 表1 云审计服务支持的IEF操作列表 操作名称 资源类型 事件名称 注册边缘节点 node createEdgeNode 更新边缘节点 node updateEdgeNode 删除边缘节点 node deleteEdgeNode 创建边缘节点组 group createEdgeGroup 更新边缘节点组 group updateEdgeGroup 删除边缘节点组 group deleteEdgeGroup 创建设备模板 deviceTemplate createDeviceTemplate 更新设备模板 deviceTemplate updateDeviceTemplate 删除设备模板 deviceTemplate deleteDeviceTemplate 注册设备 device createDevice 更新设备 device updateDevice 删除设备 device deleteDevice 部署Edge-Connector device deployConnector 更新设备孪生 device updateDeviceTwin 更新设备访问配置 device updateDeviceAccessConfig 创建应用模板 application createApplication 更新应用模板 application updateApplication 删除应用模板 application deleteApplication 创建应用模板版本 appVersion createAppVersion 更新应用模板版本 appVersion updateAppVersion 删除应用模板版本 appVersion deleteAppVersion 创建配置项 configmap createConfigMap 更新配置项 configmap updateConfigMap 删除配置项 configmap deleteConfigMap 创建容器应用 deployment createDeployment 更新容器应用 deployment updateDeployment 删除容器应用 deployment deleteDeployment 查询容器应用列表 deployment getDeploymentList 查询容器应用 deployment getDeployment 创建端点 endpoint createEndpoint 删除端点 endpoint deleteEndpoint 添加节点证书 node AddNodeCert 删除节点证书 node deleteNodeCert 升级固件 nodeFirmware UpgradeNodeFirmware 查询应用实例列表 Pods getPods 查询实例 Pod getPod 创建节点注册作业 product createProduct 删除节点注册作业 product deleteProduct 创建节点升级作业/创建应用部署作业/创建应用升级作业 batchJob createJob 停止节点升级作业/停止应用部署作业/停止应用升级作业 batchJob pauseJob 删除节点升级作业/删除应用部署作业/删除应用升级作业 batchJob deleteJob 恢复节点升级作业/恢复应用部署作业/恢复应用升级作业 batchJob restoreJob 重试节点升级作业/重试应用部署作业/重试应用升级作业 batchJob retryJob 查询配额 quota getQuota 更新配额 quota updateQuota 创建规则 rule createRule 删除规则 rule deleteRule 更新规则 rule updateRule 创建密钥 secret createSecret 更新密钥 secret updateSecret 删除密钥 secret deleteSecret 过滤标签 Tags filterTags 批量添加删除标签 Tags batchAddDeleteTags 添加标签 Tags addTag 删除标签 Tags deleteTag 绑定加密数据 encryptdata bindEncryptdata 创建加密数据 encryptdata createEncryptData 删除加密数据 encryptdata deleteEncryptData 解绑加密数据 encryptdata unbindEncryptdata 更新加密数据 encryptdata updateEncryptData 创建网关 gateway createGateway 创建虚拟服务 gateway createVirtualService 删除网关 gateway deleteGateway 删除虚拟服务 gateway deleteVirtualService 更新网关 gateway updateGateway 更新虚拟服务 gateway updateVirtualService 创建系统订阅 Systemevent createSystemevent 删除系统订阅 Systemevent DeleteSystemevent 启用系统订阅 Systemevent startSystemevent 停用系统订阅 Systemevent stopSystemevent
-
支持审计的关键操作列表 表1 云审计服务支持的IEF操作列表 操作名称 资源类型 事件名称 注册边缘节点 node createEdgeNode 更新边缘节点 node updateEdgeNode 删除边缘节点 node deleteEdgeNode 创建设备模板 deviceTemplate createDeviceTemplate 更新设备模板 deviceTemplate updateDeviceTemplate 删除设备模板 deviceTemplate deleteDeviceTemplate 注册设备 device createDevice 更新设备 device updateDevice 删除设备 device deleteDevice 部署Edge-Connector device deployConnector 更新设备孪生 device updateDeviceTwin 更新设备访问配置 device updateDeviceAccessConfig 创建应用模板 application createApplication 更新应用模板 application updateApplication 删除应用模板 application deleteApplication 创建应用模板版本 appVersion createAppVersion 更新应用模板版本 appVersion updateAppVersion 删除应用模板版本 appVersion deleteAppVersion 创建配置项 configmap createConfigMap 更新配置项 configmap updateConfigMap 删除配置项 configmap deleteConfigMap 创建容器应用 deployment createDeployment 更新容器应用 deployment updateDeployment 删除容器应用 deployment deleteDeployment 查询容器应用列表 deployment getDeploymentList 查询容器应用 deployment getDeployment 创建端点 endpoint createEndpoint 删除端点 endpoint deleteEndpoint 添加节点证书 node AddNodeCert 删除节点证书 node deleteNodeCert 升级固件 nodeFirmware UpgradeNodeFirmware 查询应用实例列表 Pods getPods 查询实例 Pod getPod 创建节点注册作业 product createProduct 删除节点注册作业 product deleteProduct 创建节点升级作业 batchJob createJob 停止节点升级作业 batchJob pauseJob 删除节点升级作业 batchJob deleteJob 查询配额 quota getQuota 更新配额 quota updateQuota 创建规则 rule createRule 删除规则 rule deleteRule 更新规则 rule updateRule 创建密钥 secret createSecret 更新密钥 secret updateSecret 删除密钥 secret deleteSecret 过滤标签 Tags filterTags 批量添加删除标签 Tags batchAddDeleteTags 添加标签 Tags addTag 删除标签 Tags deleteTag 创建系统订阅 Systemevent createSystemevent 删除系统订阅 Systemevent DeleteSystemevent 启用系统订阅 Systemevent startSystemevent 停用系统订阅 Systemevent stopSystemevent
-
操作场景 应用网格提供非侵入式的微服务治理解决方案,支持完整的生命周期管理和流量治理,支持负载均衡等多种治理能力。 应用网格中有如下概念: 服务:服务定义了实例及访问实例的途径。使用服务名称可以代替IP地址,从而实现节点上应用间的相互访问。 网关:网关可以将通过IEF部署的边缘应用暴露给外部应用访问,并能通过路由规则转发流量。 如下图所示,访问网关应用所在边缘节点的IP:网关端口/URI,就能将流量转发到对应的服务,再由服务转发到对应的后端应用实例。 图1 网关流量转发路径示意图 IEF 基于 KubeEdge 生态构建,将云原生容器化应用程序编排能力延伸到了边缘。但是,在边缘计算场景下,网络拓扑较为复杂,不同区域中的边缘节点往往网络不互通,并且应用之间流量的互通是业务的首要需求,IEF 兼容社区应用网格的能力,可以提供服务和网关元数据的下发。用户使用时,需要配合在边缘节点部署社区 EdgeMesh 应用,可参考:https://github.com/kubeedge/edgemesh/。 父主题: 应用网格
-
示例流程 图1 给用户授权IEF权限流程 创建用户组并授权 在 IAM 控制台创建用户组,并授予IEF只读权限“IEF ReadOnlyAccess”。为用户组授权时,作用范围选择“区域级项目”,然后根据以下原则设置: 在个别区域授权:选择指定的一个或多个项目,例如“cn-north-4 [华北-北京四]”。注意:此场景选择“所有项目”时,授权将不生效。 在所有区域授权:选择“所有项目”。 图2 在个别区域授权 图3 在所有区域授权 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1.创建用户组并授权中创建的用户组。 用户登录并验证权限。 新创建的用户登录控制台,验证IEF服务的管理员权限。
-
示例 当用户名为test的时候,才可以使用该策略。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "ief:deployment:create", "ief:appVersion:update", "ief:deployment:update", "ief:application:create" ], "Condition": { "StringEquals": { "ief:AssumeUserName": [ "test" ] } }, "Resource": [ "ief:*:*:deployment:*", "ief:*:*:appVersion:*", "ief:*:*:application:*" ] } ] }
-
IEF资源 资源是服务中存在的对象。在IEF中,资源包括:product、node、group、deployment、batchjob、application、appVersion、IEFInstance,您可以在创建自定义策略时,通过指定资源路径来选择特定资源。 表1 IEF的指定资源与对应路径 指定资源 资源名称 资源路径 product 节点注册作业 IEF:*:*:product: node 边缘节点 IEF:*:*:node: group 边缘节点组 IEF:*:*:group: deployment 应用部署 IEF:*:*:deployment: batchjob 批量作业 IEF:*:*:batchjob: application 应用模板 IEF:*:*:application: appVersion 应用模板版本 IEF:*:*:appVersion: IEFInstance IEF实例 IEF:*:*:IEFInstance: 父主题: 权限管理
-
IEF自定义策略样例 授权用户创建、更新应用和应用模板的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "ief:deployment:create", "ief:appVersion:update", "ief:deployment:update", "ief:application:create" ], "Condition": { "StringEquals": { "ief:AssumeUserName": [ "test" ] } }, "Resource": [ "ief:*:*:deployment:*", "ief:*:*:appVersion:*", "ief:*:*:application:*" ] } ] }
-
IEF自定义策略样例 授权用户创建、更新应用和应用模板的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "ief:deployment:create", "ief:appVersion:update", "ief:deployment:update", "ief:application:create" ], "Condition": { "StringEquals": { "ief:AssumeUserName": [ "test" ] } }, "Resource": [ "ief:*:*:deployment:*", "ief:*:*:appVersion:*", "ief:*:*:application:*" ] } ] }
-
发送消息 在边缘节点使用MQTT客户端发送消息。 此处需要放到创建消息路由中指定的Topic,如下图所示使用mosquitto_pub发送。 [root@ief-node ~]# mosquitto_pub -t '05e1aef9040010e22fccc009adecb056/nodes/7092ad14-adee-4a09-b969-1505bbdecef5/user/aaa' -d -m '{ "edgemsg": "msgToCloud"}' Client mosq-p5LouPQIW2gx0JPkRF sending CONNECT Client mosq-p5LouPQIW2gx0JPkRF received CONNACK (0) Client mosq-p5LouPQIW2gx0JPkRF sending PUBLISH (d0, q0, r0, m1, '05e1aef9040010e22fccc009adecb056/nodes/7092ad14-adee-4a09-b969-1505bbdecef5/user/aaa', ... (26 bytes)) Client mosq-p5LouPQIW2gx0JPkRF sending DISCONNECT 消息发送后,您可以在消息路由处看到已经成功转发一条消息,如下图所示。 图4 转发消息数 您可以在DIS界面看到有消息流入,如下图所示。 图5 DIS数据监控
-
操作场景 IEF支持从边缘节点上报消息到云端。 您可以将消息发送到边缘节点SystemEventBus(MQTT broker)的自定义Topic中,IEF会将这些数据转发到DIS通道或APIG后端地址。数据转发到DIS通道或者APIG后端地址后,您可以提取这些数据,并对数据进行处理分析。 本章节使用DIS端点作为示例,APIG端点的使用方法类似,主要分如下几个步骤。 创建消息端点 购买DIS接入通道 创建消息路由 发送消息
-
发送消息 在边缘节点使用MQTT客户端发送消息。 此处需要放到创建消息路由中指定的Topic,如下图所示使用mosquitto_pub发送。 [root@ief-node ~]# mosquitto_pub -t '05e1aef9040010e22fccc009adecb056/nodes/7092ad14-adee-4a09-b969-1505bbdecef5/user/aaa' -d -m '{ "edgemsg": "msgToCloud"}' Client mosq-p5LouPQIW2gx0JPkRF sending CONNECT Client mosq-p5LouPQIW2gx0JPkRF received CONNACK (0) Client mosq-p5LouPQIW2gx0JPkRF sending PUBLISH (d0, q0, r0, m1, '05e1aef9040010e22fccc009adecb056/nodes/7092ad14-adee-4a09-b969-1505bbdecef5/user/aaa', ... (26 bytes)) Client mosq-p5LouPQIW2gx0JPkRF sending DISCONNECT 消息发送后,您可以在消息路由处看到已经成功转发一条消息,如下图所示。 图4 转发消息数 您可以在DIS界面看到有消息流入,如下图所示。 图5 DIS数据监控
-
操作场景 IEF支持从边缘节点上报消息到云端。 您可以将消息发送到边缘节点SystemEventBus(MQTT broker)的自定义Topic中,IEF会将这些数据转发到DIS通道或APIG后端地址。数据转发到DIS通道或者APIG后端地址后,您可以提取这些数据,并对数据进行处理分析。 本章节使用DIS端点作为示例,APIG端点的使用方法类似,主要分如下几个步骤。 创建消息端点 购买DIS接入通道 创建消息路由 发送消息
-
创建铂金版服务实例 登录IEF管理控制台。 选择左侧导航栏的“总览”,单击页面右上角的“创建铂金版服务实例”。 配置参数。 区域:选择服务实例所在区域。不同的区域之间服务实例不互通,建议您选择最靠近您业务的区域,这样可以减少网络时延、提高访问速度。 实例名称:填写实例名称。 终端节点服务白名单:输入需要添加至白名单的用户domainID。 边云接入方式:当前支持“互联网接入”和“专线接入”。专线连接IEF的具体方法请参见通过专线或VPN连接IEF。 边缘节点规模:选择服务实例能管理的边缘节点规模。当前支持选择50、200、1000节点。 接入带宽:接入方式为“互联网接入”时,根据边缘节点规模,分别对应为5Mbit/s、10Mbit/s、30Mbit/s。“专线接入”的带宽由专线决定。 高级设置:多可用区部署,即铂金版服务实例部署在多个可用区,支持多可用区容灾,但是对于集群性能有所损耗。 单击“下一步”。 确认订单详情,单击“创建”。 服务实例创建需要20-30分钟,您可以在服务实例列表的“详情”中查看状态。 在“总览”页面可以查看到铂金版服务实例的信息。 图1 查看实例信息
-
HTTP请求检查 向容器发送HTTP GET请求,如果探针收到2xx或3xx,说明容器是健康的。 例如下图这个配置,IEF会在容器启动10秒(延迟时间)后,发送HTTP GET请求到“http://{实例IP}/healthz:8080”,如果在2秒(超时时间)内没有响应则视为检查失败;如果请求响应的状态码为2xx或3xx,则说明容器是健康的。 这里无需填写主机地址,默认直接使用实例的IP(即往容器发送请求),除非您有特殊需求。 图1 HTTP请求检查
-
HTTP请求检查 向容器发送HTTP GET请求,如果探针收到2xx或3xx,说明容器是健康的。 例如下图这个配置,IEF会在容器启动10秒(延迟时间)后,发送HTTP GET请求到“http://{实例IP}/healthz:8080”,如果在2秒(超时时间)内没有响应则视为检查失败;如果请求响应的状态码为2xx或3xx,则说明容器是健康的。 这里无需填写主机地址,默认直接使用实例的IP(即往容器发送请求),除非您有特殊需求。 图1 HTTP请求检查
-
示例 节点告警 { "alarmName": "测试##test", "alarmId": "73ccbccce05de74f9d3dda42f6ecfe20", "detailedInformation": "测试##test", "url": "", "source": "IEF", "cleared": false, "policyID": "", "perceivedSeverity": 4, "resourceId": { "namespace": "PAAS.NODE", "dimension": { "clusterId": "e277befa37a64ed1aa25b522e686bc28", "nameSpace": "default", "nodeIP": "192.168.0.164" } }, "neType": "Host", "eventType": 23 } 应用告警 { "alarmName": "应用重启test##Application restart", "alarmId": "b09076ff565c59d4da0db0c9223781", "detailedInformation": "应用重启 test##Application restart test", "url": "", "source": "IEF", "cleared": false, "policyID": "", "perceivedSeverity": 3, "resourceId": { "namespace": "PAAS.CONTAINER", "dimension": { "containerName": "container-e991acd3-864c-4038-8a90-e042eebab496", "containerID": "70b385315c8ac507b3de7dfe1258932cea0b53a850b7d030ce7ed0a55c47877c", "podID": "0e9ce4fd-b732-11e9-8a30-fa163e9b3546", "podName": "hxkapp1-7898f5bd4b-2lj8z" } }, "neType": "Application", "eventType": 23 }
-
alarmId生成方法 alarmId可以不使用本方法生成,只要保证唯一就可以。 使用{projectId}_{产生告警的服务名}_{维度信息}_{指标名称}_{告警类型}_{规则信息}生成md5值。 其中: projectId:项目ID,获取方式请参见获取项目ID。 维度信息: 节点信息:{clusterId}_{namespace}_{ip} 容器信息:{clusterId}_{namespace}_{appName}_{podName}_{containerId} 应用信息:{clusterId}_{namespace}_{appName} 告警类型: 21:动态阈值告警 22:批量阈值告警 23:阈值告警 24:系统类告警 25:新增/删除探针 26:agent安装类告警 规则信息:阈值规则的告警使用阈值规则名称;业务自己触发的告警(没有规则)则填写NA。动态阈值的则填写policyId。
-
参数说明 参数 类型 说明 alarmName String 告警名称,需要支持中英文两个版本,格式为“中文##English”。 alarmId String 告警ID,需要保证为唯一值。可以参考alarmId生成方法。 detailedInformation String 告警描述,需要支持中英文两个版本,格式为“中文##English”。 url String 根因分析跳转入口,如果没有则填空。 source String 告警源,只能是由大小写字母组成的字符串。 cleared Boolean 清除告警标示。 true:表示上报的告警已经清除。 false:表示需要手动清除。 policyID String 告警的规则ID,阈值规则填写ruleId,没有则填写空。 objectInstance String 定位信息,如果没传此字段,则该字段默认取alarmId的值。 perceivedSeverity Integer 告警级别 1:紧急 2:重要 3:次要 4:提示 resourceId Object 告警信息,具体请参见表1。 neType String 产生告警的资源的类型 Application(应用) DB(数据库) Host(主机) eventType Integer 告警类型 21:动态阈值告警 22:批量阈值告警 23:阈值告警 24:系统类告警 25:新增/删除探针 26:agent安装类告警 27:配额超限类告警 probableCause String 可能原因 proposedRepairActions String 修复建议 表1 resourceId 参数 类型 说明 namespace String 资源类型,有如下几种指标 PAAS.CONTAINER表示容器指标 PAAS.NODE表示节点指标 dimension Object 维度信息,用于跟监控上报的节点应用信息关联起来。具体请参见表2。 目前涉及到告警主要是节点和应用两种类型,所以只需要关注节点和应用这两种维度。 应用维度可以细分为服务、实例、容器和进程,这四个维度可以选择一个或多个上报。 服务维度需要上报:clusterId、nameSpace和serviceID 实例维度需要上报:podID和podName 容器维度需要上报:containerID和containerName 进程维度需要上报:processID和processName 表2 Dimension 参数 类型 说明 clusterId String 项目ID,获取方式请参见获取项目ID。 nameSpace String 默认为default。 nodeIP String 节点IP。 serviceID String 服务ID。 容器应用为{projectId}_{hostid}_{appName}的md5值。 进程应用为{projectId}_{hostid}_{进程名}_{进程pid}的md5值。 processID定义方式:md5({projectId})_{hostid}_md5({进程名})_{进程pid}。 md5(projectId) 表示求projectId的md5值,md5({进程名})表示求进程名的md5值 这些维度信息需要与监控上报的维度信息一致,不一致会导致无法关联到对应的资源。 podID String 实例ID。 podName String 实例名称。 containerID String 容器ID。 containerName String 容器名称。 processID String 进程ID。 processName String 进程名称。 Application String 应用名称。
-
参数说明 参数 类型 说明 alarmName String 告警名称,需要支持中英文两个版本,格式为“中文##English”。 alarmId String 告警ID,需要保证为唯一值。可以参考alarmId生成方法。 detailedInformation String 告警描述,需要支持中英文两个版本,格式为“中文##English”。 url String 根因分析跳转入口,如果没有则填空。 source String 告警源,只能是由大小写字母组成的字符串。 cleared Boolean 清除告警标示。 true:表示上报的告警已经清除。 false:表示需要手动清除。 policyID String 告警的规则ID,阈值规则填写ruleId,没有则填写空。 objectInstance String 定位信息,如果没传此字段,则该字段默认取alarmId的值。 perceivedSeverity Integer 告警级别 1:紧急 2:重要 3:次要 4:提示 resourceId Object 告警信息,具体请参见表1。 neType String 产生告警的资源的类型 Application(应用) DB(数据库) Host(主机) eventType Integer 告警类型 21:动态阈值告警 22:批量阈值告警 23:阈值告警 24:系统类告警 25:新增/删除探针 26:agent安装类告警 27:配额超限类告警 probableCause String 可能原因 proposedRepairActions String 修复建议 表1 resourceId 参数 类型 说明 namespace String 资源类型,有如下几种指标 PAAS.CONTAINER表示容器指标 PAAS.NODE表示节点指标 dimension Object 维度信息,用于跟监控上报的节点应用信息关联起来。具体请参见表2。 目前涉及到告警主要是节点和应用两种类型,所以只需要关注节点和应用这两种维度。 应用维度可以细分为服务、实例、容器和进程,这四个维度可以选择一个或多个上报。 服务维度需要上报:clusterId、nameSpace和serviceID 实例维度需要上报:podID和podName 容器维度需要上报:containerID和containerName 进程维度需要上报:processID和processName 表2 Dimension 参数 类型 说明 clusterId String 项目ID,获取方式请参见获取项目ID。 nameSpace String 默认为default。 nodeIP String 节点IP。 serviceID String 服务ID。 容器应用为{projectId}_{hostid}_{appName}的md5值。 进程应用为{projectId}_{hostid}_{进程名}_{进程pid}的md5值。 processID定义方式:md5({projectId})_{hostid}_md5({进程名})_{进程pid}。 md5(projectId) 表示求projectId的md5值,md5({进程名})表示求进程名的md5值 这些维度信息需要与监控上报的维度信息一致,不一致会导致无法关联到对应的资源。 podID String 实例ID。 podName String 实例名称。 containerID String 容器ID。 containerName String 容器名称。 processID String 进程ID。 processName String 进程名称。 Application String 应用名称。
-
alarmId生成方法 alarmId可以不使用本方法生成,只要保证唯一就可以。 使用{projectId}_{产生告警的服务名}_{维度信息}_{指标名称}_{告警类型}_{规则信息}生成md5值。 其中: projectId:项目ID,获取方式请参见获取项目ID。 维度信息: 节点信息:{clusterId}_{namespace}_{ip} 容器信息:{clusterId}_{namespace}_{appName}_{podName}_{containerId} 应用信息:{clusterId}_{namespace}_{appName} 告警类型: 21:动态阈值告警 22:批量阈值告警 23:阈值告警 24:系统类告警 25:新增/删除探针 26:agent安装类告警 规则信息:阈值规则的告警使用阈值规则名称;业务自己触发的告警(没有规则)则填写NA。动态阈值的则填写policyId。
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- ...
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章