华为云用户手册
-
示例Demo 应用程序开发需要使用go mod,因此请确保GO111MODULE为on、镜像源配置。请确保可正常访问华为云镜像网站,环境设置命令如下 go env -w GO111MODULE=on go env -w GOPROXY=https://repo.huaweicloud.com/repository/goproxy/ go env -w GONOSUMDB=* Go语言示例Demo基于Go SDK开发,主要用于帮助开发人员理解并开发Go客户端应用程序,使用步骤如下: 单击链接下载客户端示例[链接]。 单击链接下载客户端所使用的Go SDK[链接]。 添加Go SDK文件到客户端示例Demo目录下,完成Go SDK配置。 完成客户端初始化参数配置(utils/config.go),详情可参考SDK客户端配置。 示例Demo项目结构如下: 表1 示例Demo目录结构 文件 介绍 huaweichain Go语言客户端SDK,相关介绍请参考Go SDK介绍。 main.go Go语言客户端主程序。 contract.go 通过合约对业务数据交互。对数据有修改的操作如插入和删除,需要调用其中的send方法。对数据的查询操作如查询某个键的历史,需要调用其中的query方法。 block.go 用于从区块上获取数据。 tx.go 用于从交易上获取数据。 config.go 客户端的初始化配置。 readme.md 提供详细的接口调用示例。 父主题: Go应用程序开发
-
申请开放数据空间购买资质 如果需要购买开放数据空间实例,需要先提交材料到服务运营人员进行线下资质审核,具体步骤如下: 提供个人及组织的相关材料,具体信息如表2所示。 表2 审核资料 审核资料 说明 姓名 申请人的姓名。 说明: 如果该申请者不是组织的法人,请先取得委托授权书(拍照或扫描件)。 联系方式 申请人的联系电话。 组织通讯地址 组织的有效实际地址。 身份证件 申请人的身份证件(拍照或扫描件)。 图1 身份证件示例图 数据交易资质证明 国家认可的数据交易资质证明如:运营许可证或营业执照(拍照或扫描件)。 图2 营业执照示例图 签署承诺书,承诺不得从事超出资质范围的活动(根据模板编写并签署承诺书后,拍照或扫描留存作为申请材料,承诺书模板请参见附录)。 签署EDS服务协议(从网上打印签署后,拍照或扫描留存作为申请材料,下载地址:https://www.huaweicloud.com/declaration/eds.html)。 将以上组织材料、签署的承诺书和EDS服务协议的照片或扫描件,通过电子邮件发送到apaaspublic@huawei.com邮箱。 等待电子邮件获知审核结果(一般为5个工作日),审核通过,用户可以购买该类型空间。
-
申请开通连接器 登录 交换数据空间 官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择需要开通连接器的实例,单击实例卡片上的“连接器”。 单击界面“申请新的连接器”,弹出“申请开通连接器”窗口。 填写基本信息,具体参数说明如表1所示。 表1 参数说明 参数 说明 连接器规格 仅支持“基础版”。 连接器名称 填写连接器的名称,根据规划自定义。要求如下: 长度范围为1位~36位。 名称由中文、英文、数字、下划线(_)和中划线(-)组成。 只能以中文或者英文开头。 连接器描述 用户在文本框中输入对该连接器的描述信息。 信息设置完成后,单击“确定”,此时连接器状态是“创建审批中”。 待实例管理员审批通过后,连接器开通成功状态是“待创建”,单击连接器卡片购买连接器,具体参见购买连接器。 单个用户可申请多个连接器,但申请的连接器的数量不能超过交换数据空间实例规格限定的数量。
-
查看实例详情 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在“我的空间”界面中,选择购买交换数据空间中购买的实例,然后单击实例卡片上的“控制台”,跳转至实例控制台界面。 在控制台界面中,选择左侧导航栏中的“实例”,进入“实例”界面。 可查看信息如下: 空间实例信息 界面左侧查看空间实例信息展示实例名称、实例ID、实例规格、实例状态、描述、实例创建时间和公网出口IP。 界面右侧查看实例的规格、计费模式、到期时间和已开通连接器个数。 租户列表 租户列表展示租户名、用户名、加入时间以及类型。
-
事件监控支持的事件说明 表1 弹性云服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 E CS 因系统故障触发重部署 startAutoRecovery 重要 弹性云服务器所在的主机出现故障时,系统会自动将弹性云服务器迁移至正常的物理机,迁移过程中系统会自动重启云服务器。 等待虚拟机迁移成功,状态恢复正常。 实例重部署开始。 因系统故障重部署已完成 endAutoRecovery 重要 当自动迁移完成后,弹性云服务器已恢复正常。 确认业务是否恢复。 实例重部署结束。 实例重部署超时 faultAutoRecovery 重要 迁移弹性云服务器至正常的物理机操作超时。 确认应用集群业务是否受损。 实例重部署失败。 删除虚拟机 deleteServer 重要 删除云服务器。包括: 在管理控制台进行删除操作。 通过API接口下发删除指令。 确认虚拟机是否删除成功。 实例资源删除。 重启虚拟机 rebootServer 次要 云服务器重启。包括: 在管理控制台进行重启操作。 通过API接口下发重启指令。 确认业务是否恢复。 虚拟机重启。 关闭虚拟机 stopServer 次要 云服务器关机。包括: 在管理控制台进行关机操作。 通过API接口下发关机指令。 说明: “关闭虚拟机”事件需要开启 云审计 后才生效。 确认是否关机成功。 实例停机。 删除网卡 deleteNic 重要 云服务器删除网卡。包括: 在管理控制台删除网卡。 通过API接口下发删除网卡指令。 确认是网卡否删除成功。 网卡资源删除。 变更规格 resizeServer 次要 云服务器规格变更。包括: 在管理控制台进行变更规格。 通过API接口下发变更规格指令。 确认规格是否变更成功。 实例先停机后开机。 GuestOS系统层重启告警 RestartGuestOS 一般 GuestOS内部重启。 确认虚拟机是否重启成功。 实例重启。 系统故障导致虚拟机故障 VMFaultsByHostProcessExceptions 紧急 云服务器所在宿主机服务进程异常,导致云服务器故障。 确认应用集群业务是否受损。 实例故障。 开机失败 faultPowerOn 重要 云服务器开机失败。 确认应用集群业务是否受损。 实例开机失败。 宿主机存在宕机风险 hostMayCrash 重要 弹性云服务器所在的宿主机存在宕机风险,且由于一些原因,无法通过热迁移手段规避该风险。 确认应用集群业务是否受损。 实例有重启风险。 实例计划迁移已完成 instance_migrate_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务已完成。 等待运行状态恢复正常,确认业务是否自动恢复。 业务存在中断的可能。 实例计划迁移执行中 instance_migrate_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务执行中。 等待自动恢复事件结束,观察业务是否受到影响。 业务存在中断的可能。 实例计划迁移已取消 instance_migrate_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务已取消。 无 无 实例计划迁移失败 instance_migrate_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务失败。 联系运维人员处理。 业务中断。 实例计划迁移等待执行 instance_migrate_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行迁移操作。 实例计划规格变更失败 instance_resize_failed 重要 实例在计划时间规格变更,任务失败。 联系运维人员处理。 业务中断。 实例计划规格变更已完成 instance_resize_completed 重要 实例在计划时间规格变更,任务已完成。 无 无 实例计划规格变更执行中 instance_resize_executing 重要 实例在计划时间规格变更,任务执行中。 等待自动恢复事件结束,观察虚拟机是否正常变更成功。 业务中断 实例计划规格变更已取消 instance_resize_canceled 重要 实例在计划时间规格变更,任务已取消。 无 无 实例计划规格变更等待执行 instance_resize_scheduled 重要 实例在计划时间规格变更,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行规格变更操作。 实例计划重新部署等待执行 instance_redeploy_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行重部署。 实例计划重启等待执行 instance_reboot_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间重启,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行重启。 实例计划停止等待执行 instance_stop_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间停止,任务等待执行。 确认执行窗口对业务的影响。 实例中止等待。 开始热迁移 liveMigrationStarted 重要 弹性云服务器所在的主机可能出现故障,提前对虚拟机进行热迁移,避免宕机后导致业务中断。 等待虚拟机迁移成功,状态恢复正常。 实例热迁移开始。 热迁移完成 liveMigrationCompleted 重要 热迁移已经结束,弹性云服务器已恢复正常。 确认业务是否受到影响。 实例热迁移结束。 热迁移失败 liveMigrationFailed 重要 弹性云服务器热迁移出现问题,未热迁移成功。 确认应用集群业务是否受损。 实例热迁移失败。 GPU发生double bit ECC告警 doubleBitEccError 重要 GPU硬件存在double bit ECC故障。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU A100 硬件发生ECC告警 gpuA100EccAlarm 重要 GPU卡出现ECC硬件故障。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU ECC内存页隔离失败告警 eccPageRetirementRecordingFailure 重要 GPU硬件存在ECC故障,驱动自动隔离内存页时失败。 如果业务受损,请提交工单。 可能会造成业务中断,故障页隔离隔离失败,可能导致业务无法使用GPU。 GPU ECC页隔离告警 eccPageRetirementRecordingEvent 一般 存在ECC硬件错误,发生内存页自动隔离。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般随ECC故障告警出现,单独出现不影响业务。 GPU single bit ECC过多告警 highSingleBitEccErrorRate 重要 ECC硬件存在过高ECC single bit错误。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 single bit的错误能够自动恢复,一般不影响GPU相关应用程序。 GPU显存页告警 gpuMemoryPageFault 重要 GPU内存页发生故障,故障可能由应用、驱动或硬件引起 如果业务受损,请提交工单。 可能GPU硬件问题导致显存故障,导致业务异常退出。 GPU驱动掉卡告警 gpuDriverLinkFailureAlarm 重要 GPU链路正常,NVIDIA驱动找不到GPU硬件 建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般驱动问题导致找不到对应位置的GPU。 GPU图像引擎异常告警 graphicsEngineException 重要 GPU图像引擎发生故障,可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致图像引擎故障,导致业务异常退出。 GPU NVLINK链路错误告警 nvlinkError 重要 NVLINK的链路出现硬件故障 如果业务受损,请提交工单。 NVLINK链路故障,影响业务使用GPU NVLINK能力。 GPU存在infoROM告警 gpuInfoROMAlarm 重要 GPU可能存在硬件问题,导致驱动读取不到inforom信息。 非敏感业务可以继续使用该GPU卡,敏感业务请提交工单。 对业务暂时没有影响,当GPU硬件出现ECC故障时,可能无法自动完成故障页隔离,导致业务受损。 GPU隔离页过多告警 gpuTooManyRetiredPagesAlarm 重要 GPU硬件存在过多ECC隔离页。 如果业务受损,请提交工单。 GPU硬件存在过多ECC故障,可能频繁影响业务正常运行。 GPU卡链路故障告警 gpuPcieLinkFailureAlarm 重要 GPU链路异常,通过lspci查看GPU硬件出现故障。 如果业务受损,请提交工单。 硬件问题导致GPU链路异常,驱动无法使用GPU。 虚拟机GPU丢卡告警 vmLostGpuAlarm 重要 虚拟机实际有的GPU卡数量比规格里应分配的GPU卡数量少。 如果业务受损,请提交工单。 虚拟机GPU卡丢失。 GPU温度过高告警 highTemperatureEvent 重要 GPU硬件温度过高。 如果业务受损,请提交工单。 GPU温度超过温度阈值,可能会引起GPU卡性能下降。 FPGA链路故障 FPGALinkFault 紧急 弹性云服务器所在的主机上FPGA卡故障。包括: FPGA卡故障。 FPGA卡故障恢复中。 业务应用做成高可用。 FPGA卡故障恢复后,确认业务是否自动恢复。 业务中断。 GPU S RAM 存在Uncorrectable ECC告警 SRAMUncorrectableEccError 重要 GPU卡SRAM出现Uncorrectable ECC Error硬件故障。 如果业务受损,请提交工单。 可能GPU硬件问题导致SRAM故障,导致业务异常退出。 GPU链路故障 GPULinkFault 紧急 弹性云服务器所在的主机上GPU卡故障。包括: GPU卡故障。 GPU卡故障恢复中。 业务应用做成高可用。 GPU卡故障恢复后,确认业务是否自动恢复。 业务中断。 实例计划重新部署问询中 instance_redeploy_inquiring 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机,任务问询中。 授权重新部署到新主机操作。 无 本地盘换盘取消 localdisk_recovery_canceled 重要 因本地盘故障,更换本地盘任务,任务已取消 无 无 本地盘换盘等待执行 localdisk_recovery_scheduled 重要 因本地盘故障,更换本地盘任务,任务等待执行 确认执行窗口对业务的影响 无 GPU存在通用Xid事件告警 commonXidError 重要 GPU卡出现Xid事件告警 如果业务受损,请提交工单。 gpu硬件、驱动、应用问题导致Xid事件,可能导致业务异常退出。 nvidia-smi命令卡住 nvidiaSmiHangEvent 重要 nvidia-smi命令超时,该命令可能卡住 如果业务受损,请提交工单。 可能是命令执行过程中,触发驱动问题,导致命令卡住,同时可能出现业务使用驱动报错问题。 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorCount 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡 业务可能受到影响终止 实例计划重新部署已取消 instance_redeploy_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 无 无 实例计划重新部署执行中 instance_redeploy_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 等待自动恢复事件结束,观察业务是否受到影响。 业务中断 实例计划重新部署已完成 instance_redeploy_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 等待运行状态恢复正常,观察业务是否受到影响。 业务恢复正常 实例计划重新部署失败 instance_redeploy_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 联系运维人员处理。 业务中断 本地盘换盘问询中 localdisk_recovery_inquiring 重要 本地盘故障 授权本地盘换盘操作。 本地盘不可用 本地盘换盘执行中 localdisk_recovery_executing 重要 本地盘故障 等待本地盘换盘结束,观察本地盘功能是否正常。 本地盘不可用 本地盘换盘已完成 localdisk_recovery_completed 重要 本地盘故障 等待运行状态恢复正常,确认本地盘功能是否自动恢复。 本地盘恢复正常 本地盘换盘失败 localdisk_recovery_failed 重要 本地盘故障 联系运维人员处理。 本地盘不可用 DAVP: vasmi查询缺少die设备节点 DAVPSMICardNotFound 重要 有可能是驱动故障或发生掉卡 重启虚拟机,仍无法加载设备需转硬件处理 DAVP卡无法正常使用 DAVP: lspci查询缺少设备 DAVPLspciCardNotFound 重要 一般是由于DAVP掉卡 转硬件处理 DAVP卡无法正常使用 DAVP: 温度超过85℃阈值 TemperatureOverDfLimit 重要 核心模块温度超过85℃引起降频 暂停业务,转硬件查看散热系统,device复位 会导致DAVP卡降频 DAVP: 温度超过105℃阈值 TemperatureOverSdLimit 重要 核心模块温度超过105℃引起高温告警 暂停业务,转硬件查看散热系统,device复位 触发断电保护,DAVP卡无法正常使用 DAVP: 设备节点核心单元出现异常 DeviceCoreAbnormal 重要 当前故障很可能需要客户对使用的Die设备节点进行重启 在收集必要信息后,重启Die以尝试恢复 重启Die可能中断客户业务 自动恢复:弹性云服务器所在的硬件出现故障时,系统会自动将弹性云服务器迁移至正常的物理机,该过程会导致云服务器重启。 表2 裸金属服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 BMS GPU SRAM存在 Uncorrectable ECC告警 SRAMUncorrectableEccError 重要 GPU卡SRAM出现Uncorrectable ECC Error硬件故障。 如果业务受损,请提交工单。 可能GPU硬件问题导致SRAM故障,导致业务异常退出 主机重启 osReboot 重要 裸金属实例重启。包括: 在管理控制台进行重启操作 通过API接口下发重启指令 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 异常重启 serverReboot 重要 裸金属实例异常重启。包括: 操作系统异常导致重启 主机硬件故障导致重启 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 主机关机 osShutdown 重要 裸金属实例关机。包括: 在管理控制台进行关机操作 通过API接口下发关机指令 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 异常关机 serverShutdown 重要 裸金属实例异常关机。包括: 主机异常下电 主机硬件故障导致关机 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 网络中断 linkDown 重要 裸金属服务器网络中断。包括: 主机异常关机、重启 交换机故障引起的网络中断 网关节点故障引起的中断 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 PCIE异常 pcieError 重要 裸金属服务器PCIe设备硬件故障。包括: 主板故障 PCIe设备故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响网络或硬盘读写业务 硬盘故障 diskError 重要 裸金属服务器磁盘故障。包括: 硬盘背板故障 硬盘本身故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 云存储 连接异常 storageError 重要 裸金属服务器云硬盘链接异常。包括: SDI卡故障 远端存储故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 GPU存在infoROM告警 gpuInfoROMAlarm 重要 GPU可能存在硬件问题,导致驱动读取不到inforom信息。 业务可以继续使用该GPU卡,不敏感业务可以继续使用,敏感业务请提交工单处理。 对业务暂时没有影响,当GPU硬件出现ECC故障时,可能无法自动完成故障页隔离,导致业务受损。 GPU发生double bit ECC告警 doubleBitEccError 重要 GPU硬件存在double bit ECC故障。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU隔离页过多告警 gpuTooManyRetiredPagesAlarm 重要 GPU硬件存在过多ECC隔离页。 如果业务受损,请提交工单。 GPU硬件存在过多ECC故障,可能频繁影响业务运行。 GPU A100 硬件发生ECC告警 gpuA100EccAlarm 重要 GPU卡出现ECC硬件故障。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU ECC内存页隔离失败告警 eccPageRetirementRecordingFailure 重要 GPU硬件存在ECC故障,驱动自动隔离这些页时失败。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离隔离失败,可能导致业务无法使用GPU。 GPU ECC页隔离告警 eccPageRetirementRecordingEvent 一般 存在ECC硬件错误,发生内存页自动隔离。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般随ECC故障告警出现,单独出现不影响业务。 GPU single bit ECC过多告警 highSingleBitEccErrorRate 重要 ECC硬件存在过高ECC single bit错误。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 single bit的错误能够自动恢复,一般不影响GPU相关应用程序。 GPU驱动掉卡告警 gpuDriverLinkFailureAlarm 重要 GPU链路正常,NVIDIA驱动找不到GPU硬件。 建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般驱动问题导致找不到对应位置的GPU。 GPU卡链路故障告警 gpuPcieLinkFailureAlarm 重要 GPU链路异常,通过lspci无法查看GPU硬件信息。 如果业务受损,请提交工单。 硬件问题导致GPU卡链路异常,驱动无法使用GPU。 虚拟机GPU丢卡告警 vmLostGpuAlarm 重要 虚拟机实际有的GPU卡数量比规格里应分配的GPU卡数量少。 如果业务受损,请提交工单。 虚拟机GPU卡丢失。 GPU显存页告警 gpuMemoryPageFault 重要 GPU显存页发生故障,故障可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致显存故障,导致业务异常退出 GPU图像引擎异常告警 graphicsEngineException 重要 GPU图像引擎发生故障,可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致图像引擎故障,导致业务异常退出。 GPU温度过高告警 highTemperatureEvent 重要 GPU硬件温度过高。 如果业务受损,请提交工单。 GPU温度超过温度阈值,可能会引起GPU卡性能下降 GPU NVLINK链路错误告警 nvlinkError 重要 NVLINK的链路出现硬件故障。 如果业务受损,请提交工单。 NVLINK链路故障,影响业务使用GPU nvlink能力。 系统运维问询中 system_maintenance_inquiring 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务问询中 授权维修实例操作 无 系统运维等待执行 system_maintenance_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务等待执行 确认执行窗口对业务的影响 无 系统运维已取消 system_maintenance_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务已取消 无 无 系统运维执行中 system_maintenance_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务执行中 等待维修结束,观察业务是否受到影响 业务中断 系统运维已完成 system_maintenance_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务已完成 等待运行状态恢复正常,确认业务是否恢复 业务恢复正常 系统运维失败 system_maintenance_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务失败 联系运维人员处理 业务中断 GPU存在通用Xid事件告警 commonXidError 重要 GPU卡出现Xid事件告警 如果业务受损,请提交工单。 gpu硬件、驱动、应用问题导致Xid事件,可能导致业务异常退出。 NPU: npu-smi info查询缺少设备 NPUSMICardNotFound 重要 可能是由于昇腾驱动问题或NPU掉卡 转昇腾和硬件处理 NPU卡无法正常使用 NPU: PCIe链路异常 PCIeErrorFound 重要 Lspci查询卡状态为rev ff 重启,转硬件处理 NPU卡无法正常使用 NPU: lspci查询缺少设备 LspciCardNotFound 重要 一般是由于NPU掉卡 转硬件处理 NPU卡无法正常使用 NPU: 温度超过阈值 TemperatureOverUpperLimit 重要 可能是由于DDR颗粒温度过高或过温软件预警 暂停业务,重启系统,查看散热系统,device复位 可能造成过温下电及device丢失 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorCount 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡 业务可能受到影响终止 NPU: 需要重启实例 RebootVirtualMachine 提示 当前故障很可能需要重启进行恢复 在收集必要信息后,重启以尝试恢复 重启可能中断客户业务 NPU: 需要复位SOC ResetSOC 提示 当前故障很可能需要复位SOC进行恢复 在收集必要信息后,复位SOC以尝试恢复 复位SOC可能中断客户业务 NPU: 需要退出AI任务重新执行 RestartAIProcess 提示 当前故障很可能需要客户退出当前的AI任务并尝试重新执行 在收集必要信息后,尝试退出当前AI任务并尝试重新执行 退出当前AI任务以便重新执行 NPU: errorcode告警 NPUErrorCodeWarning 重要 这里涵盖了大量重要及以上的NPU错误码,您可以根据这些错误码进一步定位错误原因 对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误 NPU当前存在故障,可能导致客户业务终止 nvidia-smi命令卡住 nvidiaSmiHangEvent 重要 nvidia-smi命令超时,该命令可能卡住 如果业务受损,请提交工单。 可能是命令执行过程中,触发驱动问题,导致命令卡住,同时可能出现业务使用驱动报错问题。 NV Peer Memory加载到内核异常 NvPeerMemException 次要 Nvlink加载异常或nv_peer_mem加载异常 nv_peer_mem存在异常,建议尝试恢复或重新安装Nvlink Nv peer mem无法正常使用 Nv-fabricmanager服务运行异常 NvFabricManagerException 次要 机器符合Nvlink使用条件,且安装Nvlink服务,但服务异常 Nvlink存在异常,建议尝试恢复或重新安装Nvlink Nvlink无法正常使用 IB卡使用状态异常 InfinibandStatusException 重要 网卡状态或物理状态异常 转硬件处理 IB卡无法正常工作 表3 弹性公网IP 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EIP EIP带宽超限事件 EIPBandwidthOverflow 重要 当前使用带宽已超过购买的带宽,可能会导致网络变慢或丢包发生。其中,该事件取值为周期内的最大值,而EIP的出入网带宽指标数据,取值为周期时间点的值。 其中: “egressDropBandwidth”为本周期内出云丢弃带宽值(Byte),“egressAcceptBandwidth”为本周期内出云通过带宽值(Byte),“egressMaxBandwidthPerSec”为本周期内出云带宽峰值(Byte/s),“ingressAcceptBandwidth”为本周期内入云通过带宽值(Byte),“ingressMaxBandwidthPerSec”为本周期内入云带宽峰值(Byte/s),“ingressDropBandwidth”为本周期内入云丢弃带宽值(Byte)。 说明: EIP带宽超限事件当前仅在“华北-北京一”、“华北-北京四”、“华北-乌兰察布一”、“华东-上海一”、“华东-上海二”、“西南-贵阳一”和“华南-广州”区域上线。 检查EIP带宽是否一直增加,业务是否正常,并考虑扩容。 网络变慢或丢包发生 释放EIP deleteEip 次要 EIP资源被删除。 检查是否误操作删除资源。 无法访问公网 EIP封堵 blockEIP 紧急 带宽超过5GB就会封堵,相当于把流量直接丢弃。带宽严重超限或受到攻击,一般是受到了DDoS攻击。 更换EIP,避免业务受到影响。 同时查看事件中的封堵原因,进行相应处理。 业务受影响 EIP解封 unblockEIP 紧急 EIP封堵已被解封。 换回原EIP,将被解封EIP重新使用,避免资源浪费。 无 EIP开始DDoS清洗 ddosCleanEIP 严重 客户购买的EIP发生了DDoS清洗。 查看是否遭受攻击。 客户的业务可能受损。 EIP结束DDoS清洗 ddosEndCleanEip 严重 客户购买的EIP结束了DDoS清洗。 查看是否遭受攻击。 客户的业务可能受损。 企业级Qos带宽超限事件 EIPBandwidthRuleOverflow 重要 当前使用企业级Qos带宽已超过分配的带宽,可能会导致网络变慢或丢包发生。其中,该事件取值为周期内的最大值,而EIP的出入网带宽指标数据,取值为周期时间点的值。 其中:“egressDropBandwidth”为本周期内出云丢弃带宽值(Byte),“egressAcceptBandwidth”为本周期内出云通过带宽值(Byte),“egressMaxBandwidthPerSec”为本周期内出云带宽峰值(Byte/s),“ingressAcceptBandwidth”为本周期内入云通过带宽值(Byte),“ingressMaxBandwidthPerSec”为本周期内入云带宽峰值(Byte/s),“ingressDropBandwidth”为本周期内入云丢弃带宽值(Byte)。 检查EIP带宽是否一直增加,业务是否正常,并考虑扩容。 网络变慢或丢包发生。 表4 DDoS高防 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDoS高防 DDoS攻击事件 ddosAttackEvents 严重 客户购买的高防实例线路出现了DDoS攻击。 根据攻击流量和攻击类型判断对业务的影响,如果攻击流量超过客户购买的弹性带宽需要更换线路或提升规格。 客户的业务可能受损。 域名 调度事件 domainNameDispatchEvents 重要 域名对应的高防cname触发了调度,修改了解析记录到其他的高防IP上。 请关注该域名的业务情况。 一般情况下业务不受影响。 黑洞事件 blackHoleEvents 重要 客户的高防实例攻击流量超出购买的防护阈值。 黑洞解封时间默认为30分钟,具体时长与当日黑洞触发次数和攻击峰值相关,最长可达24小时。如需提前解封,需要用户升级 DDoS高防服务 并联系技术支持。 客户的业务可能受损。 黑洞恢复 cancelBlackHole 提示 客户的高防实例从黑洞状态恢复。 仅作提示,无需特殊处理。 客户的业务恢复。 IP调度事件 ipDispatchEvents 重要 IP路由发生变化 请关注该IP的业务情况。 一般情况下业务不受影响。 表5 弹性负载均衡 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ELB 健康检查异常 healthCheckUnhealthy 重要 一般是由于后端服务器服务离线导致。事件上报一定次数后,不再上报。 检查后端服务器的服务运行状态。 ELB不会往异常的后端转发流量,如果云服务器组下只有一个后端,则业务会中断。 健康检查恢复正常 healthCheckRecovery 次要 后端服务器健康检查恢复正常。 无需处理。 负载均衡器到后端服务器流量恢复正常。 表6 云备份 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CBR 创建备份失败 backupFailed 紧急 创建备份失败 尝试手动创建备份或者联系技术支持 可能造成数据丢失 使用备份恢复资源失败 restorationFailed 紧急 使用备份恢复资源失败 尝试使用其他备份恢复或者联系技术支持 可能造成数据丢失 备份删除失败 backupDeleteFailed 紧急 备份删除失败 稍后重试删除或者联系技术支持 可能造成计费异常 存储库删除失败 vaultDeleteFailed 紧急 储存库删除失败 稍后重试或联系技术支持 可能造成计费异常 复制失败 replicationFailed 紧急 备份复制失败 稍后重试或联系技术支持 可能造成数据丢失 创建备份成功 backupSucceeded 重要 创建备份成功 无 无 使用备份恢复资源成功 restorationSucceeded 重要 使用备份恢复资源成功 观察数据是否已成功恢复。 无 备份删除成功 backupDeletionSucceeded 重要 备份删除成功 无 无 存储库删除成功 vaultDeletionSucceeded 重要 存储库删除成功 无 无 复制成功 replicationSucceeded 重要 备份复制成功 无 无 客户端离线 agentOffline 紧急 客户端离线 请确保客户端状态正常且能够正常连接华为云。 可能造成备份任务失败。 客户端上线 agentOnline 重要 客户端上线 无。 无。 表7 关系型数据库--资源异常事件 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 RDS 创建实例业务失败 createInstanceFailed 重要 创建实例失败产生的事件,一般是磁盘个数,配额大小不足,底层资源耗尽导致。 所选资源规格不足,请选择其他可用规格重试。 创建实例失败。 实例全量备份失败 fullBackupFailed 重要 单次全量备份失败产生的事件,不影响以前成功备份的文件,但会对“恢复到指定时间点”的功能有一些影响,导致“恢复到指定时间点”时增量备份的恢复时间延长。 全量备份失败,请重新进行操作。 全量备份失败,影响备份恢复。 主备切换异常 activeStandBySwitchFailed 重要 主备切换异常是由于网络、物理机有某种故障导致备机没有接管主机的业务,短时间内会恢复到原主机继续提供服务。 主备切换失败,请在业务低峰期重新进行操作。 主备切换失败。 复制状态异常 abnormalReplicationStatus 重要 出现”复制状态异常“事件通常有两种情况: 1、主机与备机或只读实例之间复制时延太大(一般在写入大量数据或执行大事务的时候出现),在业务高峰期容易出现阻塞。 2、主机与备机或只读实例之间的网络中断,导致主机与备机或只读实例复制异常。 数据库复制状态异常,正在进行修复,修复后会第一时间通知您,谢谢。 复制状态异常。 复制状态异常已恢复 replicationStatusRecovered 重要 即复制时延已回到正常范围内,或者主备之间的网络通信恢复。 数据库复制状态已恢复正常,请确认业务是否正常运行。 复制状态异常恢复。 实例运行状态异常 faultyDBInstance 重要 由于灾难或者物理机故障导致单机或者主实例故障时会上报本事件,属于关键告警事件。 实例状态异常,正在进行修复,修复后会第一时间通知您,谢谢。 实例状态异常。 实例运行状态异常已恢复 DBInstanceRecovered 重要 针对灾难性的故障,RDS有高可用工具会自动进行备机重建,重建完成之后即会上报本事件。 实例状态已恢复正常,请确认业务是否正常运行。 实例状态异常恢复。 单实例转主备实例失败 singleToHaFailed 重要 创建备机时或备机创建完成后主备机之间配置同步发生故障时会产生此事件,一般是由于备节点所在数据中心资源不足导致。 单转主备实例失败,正在进行自动重试。 单实例转主备实例失败。 数据库进程重新启动 DatabaseProcessRestarted 重要 一般是内存不足、负载过高导致数据库进程停止 数据库重启完成,请确认业务是否正常运行。 主节点数据库重启,业务短暂影响。 实例磁盘满 instanceDiskFull 重要 一般是由于数据空间占用过大导致。 实例磁盘满,请进行扩容操作。 实例磁盘空间打满,影响业务继续写入。 实例磁盘满恢复 instanceDiskFullRecovered 重要 实例磁盘状态恢复正常。 磁盘可用空间恢复正常,请确认业务是否正常运行。 实例磁盘空间可用量恢复正常。 kafka连接失败 kafkaConnectionFailed 重要 一般是由于网络波动或kafka服务端出现异常等原因导致。 检查业务是否受到影响。 无。 表8 关系型数据库--操作类事件 事件来源 事件名称 事件ID 事件级别 事件说明 RDS 重置数据库管理员密码 resetPassword 重要 重置数据库管理员密码。 集群扩容等操作 instanceAction 重要 磁盘扩容、规格变更。 删除集群下的实例 deleteInstance 次要 删除集群下的实例。 修改备份策略 setBackupPolicy 次要 修改备份策略。 修改参数组 updateParameterGroup 次要 修改参数组。 删除参数组 deleteParameterGroup 次要 删除参数组。 重置参数组 resetParameterGroup 次要 重置参数组。 修改数据库端口号 changeInstancePort 重要 修改数据库端口号。 实例主备切换 PrimaryStandbySwitched 重要 实例主备切换。 表9 文档数据库服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDS 创建实例业务失败 DDSCreateInstanceFailed 重要 创建文档数据库实例失败产生的事件,一般是由于磁盘个数、配额不足,底层资源耗尽导致。 检查磁盘个数、配额大小是否满足需求,并考虑释放资源后重新创建实例。 无法创建数据库实例。 复制状态异常 DDSAbnormalReplicationStatus 重要 出现”复制状态异常“事件通常有两种情况: 1、主机与备机或只读实例之间复制时延太大(一般在写入大量数据或执行大事务的时候出现),在业务高峰期容易出现阻塞。 2、主机与备机或只读实例之间的网络中断,导致主机与备机或只读实例复制异常。 提交工单。 不会导致原来实例的读写中断,客户的应用是无感知的。 复制状态异常已恢复 DDSReplicationStatusRecovered 重要 复制时延已回到正常范围内,或者主备之间的网络通信恢复。 不需要处理。 无 实例运行状态异常 DDSFaultyDBInstance 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 DDSDBInstanceRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 DDSFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 DDSDBNodeRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 实例主备切换 DDSPrimaryStandbySwitched 重要 在手动触发的主备倒换或节点故障自动触发的故障倒换场景下,会上报该事件。 不需要处理。 无 数据盘空间不足 DDSRiskyDataDiskUsage 重要 数据盘空间不足,产生此告警。 请参见对应服务用户指南中“扩容磁盘”的内容,进行磁盘扩容。 实例被设为只读模式,数据无法写入。 数据盘空间已扩容并恢复可写 DDSDataDiskUsageRecovered 重要 数据盘空间已扩容并恢复可写,产生此事件。 无需处理。 无影响。 用户计划删除KMS密钥 DDSplanDeleteKmsKey 重要 一般是由于用户计划删除kms的key导致。 计划删除kms的key后,及时恢复kms的key或者及时解密数据。 kms的key被删除后用户无法进行磁盘加密。 表10 云数据库 GaussDB NoSQL 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 NoSQL 创建实例业务失败 NoSQLCreateInstanceFailed 重要 一般是由于实例配额不足或底层资源不足等原因导致。 先释放不再使用的实例再尝试重新发放,或者提交工单调整配额上限。 无法创建数据库实例。 变更规格失败 NoSQLResizeInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试规格变更操作。 业务中断。 添加节点失败 NoSQLAddNodesFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,删除添加失败的节点,重新尝试添加新节点。 无 删除节点失败 NoSQLDeleteNodesFailed 重要 一般是由于底层释放资源失败导致。 重新尝试删除节点。 无 扩卷失败 NoSQLScaleUpStorageFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试扩卷操作。 如果磁盘满,会导致业务中断。 重置密码失败 NoSQLResetPasswordFailed 重要 一般是由于重置密码命令超时导致。 重新尝试重置密码操作。 无 修改参数组失败 NoSQLUpdateInstanceParamGroupFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 设置备份策略失败 NoSQLSetBackupPolicyFailed 重要 一般是由于数据库连接异常导致。 重新重试设置备份策略操作。 无 创建手动备份失败 NoSQLCreateManualBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 创建自动备份失败 NoSQLCreateAutomatedBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 实例运行状态异常 NoSQLFaultyDBInstance 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 NoSQLDBInstanceRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 实例主备切换 NoSQLPrimaryStandbySwitched 重要 在手动触发的主备倒换或节点故障自动触发的故障倒换场景下,会上报该事件。 不需要处理。 无 出现热点分区键 HotKeyOccurs 重要 客观上是因为主键设置不合理,使得热点数据集中分布在一个分区。客户端不合理的应用程序设计,造成对某一key的频繁读写。 1. 选择合理的分区键。 2. 业务增加缓存,业务应用先从缓存中读取热点数据。 影响业务请求成功率,存在影响集群性能及稳定性的风险。 出现超大分区键 BigKeyOccurs 重要 主键设计不合理,单个分区的记录数或数据量过大,引起了节点负载不均。 1. 选择合理的分区键 2. 基于现有分区键,增加分区键散列。 随着数据量增长,集群稳定性会下降。 数据盘空间不足 NoSQLRiskyDataDiskUsage 重要 数据盘空间不足,产生此告警。 请参见对应服务用户指南中“扩容磁盘”的内容,进行磁盘扩容。 实例被设为只读模式,数据无法写入。 数据盘空间已扩容并恢复可写 NoSQLDataDiskUsageRecovered 重要 数据盘空间已扩容并恢复可写,产生此事件。 无需处理。 无 创建索引失败 NoSQLCreateIndexFailed 重要 业务负载超过实例规格瓶颈,此时再创建索引会耗费更多实例资源,导致响应变慢甚至卡顿,最终超时,引起索引创建失败。 1、根据业务负载,选择匹配的实例规格 2、在业务低峰期创建索引 3、使用后台方式创建索引 4、索引字段,结合业务进行合理选择。 索引创建失败或不完整,导致索引无效,需要删掉索引重新创建。 发生写入降速 NoSQLStallingOccurs 重要 写入速度快,接近集群规模和实例规格范围允许最大写能力,从而触发数据库自身的限流机制,会发生请求失败情况 1. 根据业务的最大写请求速率,调整集群规模或者节点规格 2. 衡量业务的最大写请求速率,分散业务写峰值速率 影响业务的请求的成功率 发生写入停止 NoSQLStoppingOccurs 重要 写入速度过快,达到集群规模和实例规格范围允许最大写能力,从而触发数据库自身的限流机制,会发生请求失败情况 1. 根据业务的最大写请求速率,调整集群规模或者节点规格 2. 衡量业务的最大写请求速率,分散业务写峰值速率 影响业务的请求的成功率 重启数据库失败 NoSQLRestartDBFailed 重要 一般是由于实例状态异常等原因导致。 提交工单让运维处理。 数据库实例状态可能存在异常。 恢复到新实例失败 NoSQLRestoreToNewInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,重新尝试添加新节点。 无法恢复到新的数据库实例。 恢复到已有实例失败 NoSQLRestoreToExistInstanceFailed 重要 一般是由于备份文件下载或恢复失败等原因导致。 提交工单让运维处理。 当前数据库实例可能处于不可用状态。 删除备份文件失败 NoSQLDeleteBackupFailed 重要 一般是由于备份文件从obs删除失败导致。 重新尝试删除备份文件。 无 切换慢日志明文开关失败 NoSQLSwitchSlowlogPlainTextFailed 重要 一般是由于引擎不支持切换等原因导致。 请查阅NoSQL用户指南,确认引擎支持打开慢日志明文开关。提交工单让运维处理。 无 绑定EIP失败 NoSQLBindEipFailed 重要 一般是由于节点状态不正常,节点已经绑定EIP或EIP非法等原因导致。 检查节点是否正常,EIP是否合法。 无法通过公网访问数据库实例。 解绑EIP失败 NoSQLUnbindEipFailed 重要 一般是由于节点状态不正常,节点已经未绑定EIP等原因导致。 检查节点和EIP状态是否正常。 无 修改参数失败 NoSQLModifyParameterFailed 重要 一般是由于参数取值非法等原因导致。 排查参数值是否符合在合法范围内,提交工单让运维处理。 无 参数组应用失败 NoSQLApplyParameterGroupFailed 重要 一般是由于实例状态异常导致参数组无法应用等原因导致。 提交工单让运维处理。 无 开启或关闭SSL失败 NoSQLSwitchSSLFailed 重要 一般是由于修改SSL命令超时导致。 重新提交一次或者提交工单处理,并先保持切换之前使用SSL的连接方式。 是否使用SSL连接。 单行数据量太大 LargeRowOccurs 重要 用户单行数据量过大,可能会导致查询超时,进而节点OOM异常退出等各种故障发生。 1. 对每列和每行的写入长度做限制,遵从规范,使得单行的的key和value长度和不超过阈值。 2. 排查业务是否出现异常写入和异常编码,导致写入大row。 过大的单行记录,随着数据量增长,集群稳定性会下降。 用户计划删除KMS密钥 NoSQLplanDeleteKmsKey 重要 一般是由于用户计划删除kms的key导致。 计划删除kms的key后,及时恢复kms的key或者及时解密数据。 kms的key被删除后用户无法进行磁盘加密。 查询墓碑数过多 TooManyQueryTombstones 重要 查询墓碑数过多,可能会导致查询超时,影响查询性能。 使用合理的查询删除方式,避免大批次的范围查询 可能会导致查询超时,影响查询性能。 超大集合列 TooLargeCollectionColumn 重要 当集合列元素个数太多时,会出现集合列查询失败。 对集合列的元素个数做限制,遵从规范不超过阈值。 排查业务是否出现异常写入和异常编码,导致写入大集合列。 会出现集合列查询失败。 表11 云数据库GaussDB(for MySQL) 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GaussDB(for MySQL) 实例增量备份业务失败 TaurusIncrementalBackupInstanceFailed 重要 实例增量备份失败产生的事件,一般是管理节点到实例网络或者实例到OBS存储的网络异常,或者实例备份环境异常。 提交工单。 无法完成实例备份业务操作。 添加只读节点失败 addReadonlyNodesFailed 重要 创建实例只读节点失败产生的事件,一般是底层资源耗尽导致。 检查并释放资源后重新创建。 无法创建数据库实例只读节点。 创建实例业务失败 createInstanceFailed 重要 创建实例失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 检查配额大小,释放资源后重新创建。 无法创建数据库实例。 主备切换异常 activeStandBySwitchFailed 重要 主备切换异常主要是由于网络、物理机有某种故障导致只读节点没有接管主节点的业务,短时间内会恢复到原主节点继续提供服务。 提交工单。 无法完成主备切换(只读升主)。 规格变更业务失败 flavorAlterationFailed 重要 规格变更失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 提交工单。 无法完成规格变更。 实例运行状态异常 TaurusInstanceRunningStatusAbnormal 重要 实例运行状态异常产生的事件,可能原因是实例进程故障,或者实例到DFV存储间通信问题。 提交工单。 实例异常,业务可能受损。 实例运行状态异常已恢复 TaurusInstanceRunningStatusRecovered 重要 实例运行状态异常后恢复产生的事件。 观察业务运行情况。 无。 节点运行状态异常 TaurusNodeRunningStatusAbnormal 重要 运行节点状态异常产生的事件,可能原因是节点进程故障,或者节点到DFV存储间通信问题。 观察实例状态和业务运行情况。 节点异常,可能触发只读升主。 节点运行状态异常已恢复 TaurusNodeRunningStatusRecovered 重要 节点运行状态异常后恢复产生的事件。 观察业务情况。 无。 删除只读节点失败 TaurusDeleteReadOnlyNodeFailed 重要 删除只读节点失败产生的事件,可能原因是管理面到实例节点通信异常或者请求IaaS删除虚机失败。 提交工单。 无法完成删除只读节点操作。 实例重置密码失败 TaurusResetInstancePasswordFailed 重要 实例重置密码失败产生的事件,可能原因是管理面到实例通信异常或者实例状态异常件。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例重置密码操作。 实例重启失败 TaurusRestartInstanceFailed 重要 实例重启失败产生的事件,可能原因是管理面到实例通信异常或者实例状态异常件。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例重启操作。 恢复到新实例失败 TaurusRestoreToNewInstanceFailed 重要 恢复到新实例失败产生的事件,一般是新创建实例配额大小不足,底层资源耗尽导致或者数据恢复逻辑出错。 如果是新创建实例失败,检查配额大小,释放资源后重新恢复到新实例,其他情况提交工单。 无法完成恢复到新实例。 实例绑定EIP失败 TaurusBindEIPToInstanceFailed 重要 实例绑定EIP失败产生的事件,绑定任务执行错误。 提交工单。 无法完成绑定EIP操作。 实例解绑EIP失败 TaurusUnbindEIPFromInstanceFailed 重要 实例解绑EIP失败产生的事件,绑定任务执行错误。 提交工单。 无法完成解绑EIP操作。 实例修改参数失败 TaurusUpdateInstanceParameterFailed 重要 实例修改参数失败产生的事件,一般是管理节点到实例网络异常,或者实例状态异常。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例修改参数操作。 实例参数组应用失败 TaurusApplyParameterGroupToInstanceFailed 重要 实例参数组应用失败产生的事件,一般是管理节点到实例网络异常,或者实例状态异常。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例参数组应用操作。 实例全量备份业务失败 TaurusBackupInstanceFailed 重要 实例全量备份失败产生的事件,一般是管理节点到实例网络或者实例到OBS存储的网络异常,或者实例备份环境异常。 提交工单。 无法完成实例备份业务操作。 实例发生主备倒换 TaurusActiveStandbySwitched 重要 实例发生主备倒换,主要是由于主节点的网络,物理机以及数据库运行出现故障时,GaussDB HA系统会按照倒换优先级将1个只读节点升为主机,以持续提供服务。 收到事件后,查看业务运行是否正常。 看是否继续收到“实例只读升主业务失败”告警。 倒换时业务连接会短时间中断,升主完成后可重新连接数据库。 数据库设置为只读模式 NodeReadonlyMode 重要 数据库设置为只读状态,只支持查询类操作。 提交工单。 数据库设置只读状态后,所有写业务返回失败。 数据库设置为读写模式 NodeReadWriteMode 重要 数据库设置为读写状态 提交工单。 无 实例容灾切换 DisasterSwitchOver 重要 实例故障不可用,通过主备切换保证数据库继续对外提供服务。 联系技术支持团队处理。 访问数据库的业务出现闪断,高可用服务通过切换机制保证新机器升主继续对外提供服务。 数据库进程重新启动 TaurusDatabaseProcessRestarted 重要 一般是内存不足、负载过高导致数据库进程停止。 通过 云监控 的数据,查看是否有内存飙升、CPU长期过高等的情况,可以选择提升CPU内存规格或者优化业务逻辑。 数据库进程挂掉的时候,该节点业务中断。高可用服务会自动拉起进程,尝试恢复业务。 表12 云数据库GaussDB 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GaussDB 进程状态告警 ProcessStatusAlarm 重要 GaussDB关键进程退出,包括:CMS/CMA、ETCD、GTM、CN、DN。 等待进程自动恢复或者自动主备切换,观察业务是否恢复。如果业务未恢复,联系SRE。 主机进程故障,在主机上进行的业务将中断回滚。备机进程故障不影响业务。 组件状态告警 ComponentStatusAlarm 重要 GaussDB关键组件无响应,包括:CMA、ETCD、GTM、CN、DN。 等待进程自动恢复或者自动主备切换,观察业务是否恢复。如果业务未恢复,联系SRE。 主机进程无响应,在主机上进行的业务将无响应。备机进程故障不影响业务。 集群状态告警 ClusterStatusAlarm 重要 集群状态异常,包括: 集群只读、ETCD多数派故障、集群分布不均衡。 联系SRE。 集群只读: 业务只读。 ETCD多数派故障:集群不可用。 集群分布不均衡:集群性能/可靠性降低。 硬件资源告警 HardwareResourceAlarm 重要 集群中出现严重的硬件故障,包括:磁盘损坏、GTM网络通信故障。 联系SRE。 业务部分/全部受损。 状态转换告警 StateTransitionAlarm 重要 集群出现如下重要事件:DN build/build失败、DN强切、DN主备切换/failover、GTM主备切换/failover。 等待自动恢复,观察业务是否恢复。如果业务未恢复,联系SRE。 部分业务受损。 其他异常告警 OtherAbnormalAlarm 重要 磁盘使用阈值告警等。 关注业务变化,及时计划扩容。 超过使用阈值,将无法扩容。 实例运行状态异常 TaurusInstanceRunningStatusAbnormal 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 TaurusInstanceRunningStatusRecovered 重要 针对灾难性的故障,GaussDB有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 TaurusNodeRunningStatusAbnormal 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 TaurusNodeRunningStatusRecovered 重要 针对灾难性的故障,GaussDB有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 创建实例业务失败 GaussDBV5CreateInstanceFailed 重要 创建实例失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 先释放不再使用的实例再尝试重新发放,或者提交工单调整配额上限。 无法创建数据库实例。 添加节点失败 GaussDBV5ExpandClusterFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,删除添加失败的节点,重新尝试添加新节点。 无 存储扩容失败 GaussDBV5EnlargeVolumeFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试扩容操作。 如果磁盘满,会导致业务中断。 重启失败 GaussDBV5RestartInstanceFailed 重要 一般是由于网络问题等原因导致 重试重启操作或提交工单让运维处理。 可能导致数据库服务不可用。 全量备份失败 GaussDBV5FullBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 差量备份失败 GaussDBV5DifferentialBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 删除备份失败 GaussDBV5DeleteBackupFailed 重要 无需实现。 - - 绑定EIP失败 GaussDBV5BindEIPFailed 重要 弹性公网IP已被占用或IP资源等原因导致。 提交工单让运维处理。 导致实例无法使用公网链接或访问 解绑EIP失败 GaussDBV5UnbindEIPFailed 重要 网络故障或公网EIP服务故障等原因导致。 重新解绑Ip或提交工单让运维处理。 可能导致IP资源残留 参数组应用失败 GaussDBV5ApplyParamFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 参数修改失败 GaussDBV5UpdateInstanceParamGroupFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 备份恢复失败 GaussDBV5RestoreFromBcakupFailed 重要 一般是由底层资源不足或备份文件下载失败等原因导致 提交工单。 可能导致在恢复失败期间数据库服务不可用 升级热补丁失败 GaussDBV5UpgradeHotfixFailed 重要 一般是内核升级时报错导致。 查看工作流报错信息,重做跳过等。 无 表13 分布式数据库 中间件 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDM 创建实例失败 createDdmInstanceFailed 重要 一般是由于底层资源不足等原因导致。 释放资源后重新创建。 无法创建DDM实例。 变更规格失败 resizeFlavorFailed 重要 一般是由于底层资源不足等原因导致。 请工单联系运维在后台协调资源再重试规格变更操作。 部分节点业务中断 节点扩容失败 enlargeNodeFailed 重要 一般是由于底层资源不足等原因导致。 请工单联系运维后台协调资源,删除添加失败的节点,重新尝试添加节点 节点扩容失败 节点缩容失败 reduceNodeFailed 重要 一般是由于底层释放资源失败等原因导致。 请工单联系运维后台处理资源。 节点缩容失败 重启实例失败 restartInstanceFailed 重要 一般是由于底层关联数据库实例异常等原因导致。 建议先排查底层数据库实例是否异常,如果无异常请工单联系运维进行排查。 部分节点业务中断 创建逻辑库失败 createLogicDbFailed 重要 一般是由于以下几种原因导致的: 1、数据库实例账号密码错误;2、DDM实例与底层数据库实例安全组设置错误,导致无法通信。 请排查: 1、数据库实例账号密码是否错误;2、DDM实例与底层数据库实例安全组是否设置正确等问题。 业务无法正常运行 绑定弹性公网IP失败 bindEipFailed 重要 一般是由于EIP服务繁忙。 稍后重试,紧急情况下请联系运维排查问题。 无法通过公网访问服务 逻辑库扩容失败 migrateLogicDbFailed 重要 一般是由于底层处理失败。 请工单联系运维处理。 无法实现逻辑库扩容 逻辑库扩容重试失败 retryMigrateLogicDbFailed 重要 一般是由于底层处理失败。 请工单联系运维处理。 无法实现逻辑库扩容 表14 云手机服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CPH 主机关机 cphServerOsShutdown 重要 云手机服务器关机。包括: 在管理控制台进行关机操作 通过API接口下发关机指令 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 异常关机 cphServerShutdown 重要 云手机服务器异常关机。包括: 云手机服务器异常下电 云手机服务器硬件故障导致关机 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 主机重启 cphServerOsReboot 重要 云手机服务器重启。包括: 在管理控制台进行重启操作 通过API接口下发重启指令 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断 异常重启 cphServerReboot 重要 云手机服务器异常重启。包括: 操作系统异常导致重启 云手机服务器硬件故障导致重启 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 网络中断 cphServerlinkDown 重要 云手机服务器网络中断。包括: 云手机服务器异常关机、重启 交换机故障引起的网络中断 网关节点故障引起的中断 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 PCIE异常 cphServerPcieError 重要 云手机服务器PCIe设备硬件故障。包括: 主板故障 PCIe设备故障 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 影响网络或硬盘读写业务 硬盘故障 cphServerDiskError 重要 云手机服务器磁盘故障。包括: 硬盘背板故障 硬盘本身故障 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 云存储连接异常 cphServerStorageError 重要 云手机服务器云硬盘链接异常。包括: SDI卡故障 远端存储故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 显卡掉线 cphServerGpuOffline 重要 云手机服务器GPU显卡松动掉线 云手机服务器进行一次关机、开机操作 显卡掉线涉及的云手机出现运行故障,重启重置手机无法恢复 显卡TimeOut cphServerGpuTimeOut 重要 云手机服务器GPU显卡TimeOut 重启云手机服务器 显卡Timeout涉及的云手机出现运行故障,重启重置手机无法恢复 磁盘空间满 cphServerDiskFull 重要 云手机服务器磁盘空间满 客户需要清理云手机里的业务数据,释放空间 云手机亚健康,容易出现故障无法启动 磁盘变只读 cphServerDiskReadOnly 重要 云手机服务器磁盘变成只读 重启云手机服务器 云手机亚健康,容易出现故障无法启动 云手机元数据损坏 cphPhoneMetaDataDamage 重要 云手机的容器元数据损坏 联系运维处理 云手机重启重置无法恢复 GPU故障 gpuAbnormal 致命 GPU发生故障 提交工单转运维处理 业务中断 GPU恢复正常 gpuNormal 提示 GPU从故障中恢复正常 无需处理 无 内核崩溃 kernelCrash 致命 内核崩溃crash 提交工单转运维处理 crash期间业务中断 内核OOM kernelOom 重要 内核日志提示out of memory 提交工单转运维处理 业务中断 硬件故障 hardwareError 致命 内核日志报Hardware Error 提交工单转运维处理 业务中断 PCIE故障 pcieAer 致命 内核日志报PCIE Bus Error 提交工单转运维处理 业务中断 SCSI故障 scsiError 致命 内核日志报SCSI error 提交工单转运维处理 业务中断 镜像存储只读故障 partReadOnly 致命 镜像存储分区挂载属性变为readonly 提交工单转运维处理 业务中断 镜像存储超级块损坏故障 badSuperBlock 致命 镜像存储分区相关文件系统超级块损坏 提交工单转运维处理 业务中断 镜像存储sharedpath只读故障 isuladMasterReadOnly 致命 镜像存储的/.sharedpath/master挂载属性只读 提交工单转运维处理 业务中断 云手机数据盘只读故障 cphDiskReadOnly 致命 云手机数据盘挂载属性变为readonly 提交工单转运维处理 业务中断 云手机数据盘超级块损坏故障 cphDiskBadSuperBlock 致命 云手机数据盘相关文件系统超级块损坏 提交工单转运维处理 业务中断 表15 二层连接网关 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 L2CG IP地址冲突 IPConflict 重要 一般是由于线上(本端子网)与线下(远端网段)存在相关IP地址的主机导致。 通过查看ARP、交换机信息等措施,排查出具体IP冲突的主机,根据业务场景调整IP避免冲突。 可能导致冲突IP相关网络通信异常。 表16 弹性公网IP和带宽 事件来源 事件名称 事件ID 事件级别 弹性公网IP和带宽 删除VPC deleteVpc 重要 修改VPC modifyVpc 次要 删除Subnet deleteSubnet 次要 修改Subnet modifySubnet 次要 修改带宽 modifyBandwidth 次要 删除VPN deleteVpn 重要 修改VPN modifyVpn 次要 表17 云硬盘 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EVS 更新磁盘 updateVolume 次要 更新一个云硬盘的名称和描述。 无需处理。 无。 扩容磁盘 extendVolume 次要 对云硬盘进行扩容。 无需处理。 无。 删除磁盘 deleteVolume 重要 删除一个云硬盘。 无需处理。 删除的磁盘将不能被恢复。 磁盘性能达到QoS上限 reachQoS 重要 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大。 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大,意味该类型的磁盘可能无法满足当前业务需求,建议提升磁盘规格。 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大,意味该类型的磁盘可能无法满足当前业务需求,建议提升磁盘规格 表18 统一身份认证 服务 事件来源 事件名称 事件ID 事件级别 IAM 用户登录 login 次要 用户登出 logout 次要 登录重置密码 changePassword 重要 创建用户 createUser 次要 删除用户 deleteUser 重要 修改用户 updateUser 次要 创建用户组 createUserGroup 次要 删除用户组 deleteUserGroup 重要 修改用户组 updateUserGroup 次要 创建idp createIdentityProvider 次要 删除idp deleteIdentityProvider 重要 修改idp updateIdentityProvider 次要 更新metadata updateMetadata 次要 更新账号登录策略 updateSecurityPolicies 重要 创建AK/SK addCredential 重要 删除AK/SK deleteCredential 重要 创建project createProject 次要 更新project updateProject 次要 冻结项目 suspendProject 重要 表19 密钥管理服务 事件来源 事件名称 事件ID 事件级别 KMS 禁用密钥 disableKey 重要 计划删除密钥 scheduleKeyDeletion 次要 退役授权 retireGrant 重要 撤销授权 revokeGrant 重要 表20 对象存储服务 事件来源 事件名称 事件ID 事件级别 OBS 删除桶 deleteBucket 重要 删除桶policy配置 deleteBucketPolicy 重要 设置桶的ACL setBucketAcl 次要 设置桶的策略 setBucketPolicy 次要 表21 云监控 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 Cloud Eye 插件故障事件 agentHeartbeatInterrupted 重要 监控插件每1分钟发送1次心跳;当服务端3分钟收不到插件心跳时,“插件状态”显示为“故障”。 查看Agent域名是否无法解析。 查看账号是否欠费。 Agent进程故障,先尝试重启Agent如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 查看服务器内部时间和本地标准时间不一致。 使用的DNS非华为云DNS,请通过执行dig+目标域名获取到agent.ces.myhuaweicloud.com在华为云内网DNS下解析到的IP后再添加对应的hosts。 请将Agent更新为最新版本。 插件已恢复 agentResumed 提示 客户端插件已恢复运行。 不需要处理。 插件已故障 agentFaulty 重要 客户端插件运行故障,上报对应状态。 Agent进程故障,先尝试重启Agent。如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 请将Agent更新为最新版本。 插件已断联 agentDisconnected 重要 监控插件每1分钟发送1次心跳;当服务端3分钟收不到插件心跳时,“插件状态”显示为“故障”。 查看Agent域名是否无法解析。 查看账号是否欠费。 Agent进程故障,先尝试重启Agent。如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 查看服务器内部时间和本地标准时间不一致。 使用的DNS非华为云DNS,请通过执行dig+目标域名获取到agent.ces.myhuaweicloud.com在华为云内网DNS下解析到的IP后再添加对应的hosts。请将Agent更新为最新版本。 表22 数据空间服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Data Space 新增修订版本 newRevision 次要 数据产品发布了新的修订版本。 收到事件通知后根据需要导出新的修订版本数据。 无。 表23 企业交换机 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ESW IP地址冲突 IPConflict 重要 L2互联场景:一般是由于线上(本端子网)与线下(远端网段)存在相关IP地址的主机导致。 通过查看ARP、交换机信息等措施,排查出具体IP冲突的主机,根据业务场景调整IP避免冲突。 可能导致冲突IP相关网络通信异常。 表24 凭据管理服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 C SMS 操作待删除凭据 operateDeletedSecret 重要 用户调用接口操作计划删除状态凭据。 用户可以考虑取消删除该凭据。 到期删除的凭据无法恢复。 表25 分布式缓存服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DCS 在线迁移发生全量重试 migrationFullResync 次要 在线迁移在重试时,因无法进行增量同步,而触发了全量同步。 确认是否发生反复的全量重试,需要检查到源端的网络连接是否正常,是否源端压力过大。如果反复全量重试,联系运维人员处理。 迁移任务与源实例发生中断,重新触发了全量同步,可能导致源实例CPU冲高。 实例主备切换(故障切换) masterStandbyFailover 次要 Redis主节点异常,触发主从倒换机制,备节点升主。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 Memcached主从倒换 memcachedMasterStandbyFailover 次要 Memcached主节点异常,触发主从倒换机制,备节点升主。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 Redis节点状态异常 redisNodeStatusAbnormal 重要 Redis节点状态异常。 检查业务是否受影响 ,如果影响联系运维人员处理。 节点状态异常,主节点异常会自动主备切换。从节点异常,如果客户端直连从节点进行读写分离,读操作会出现异常。 Redis节点状态恢复正常 redisNodeStatusNormal 重要 Redis节点从异常恢复正常。 检查业务是否恢复。如果应用未重连,需要重启应用进行恢复。 异常恢复事件。 数据迁移同步失败 migrateSyncDataFail 重要 执行在线迁移任务时,迁移任务失败。 重新配置迁移任务重试迁移。如果仍然失败,联系运维人员处理。 数据迁移失败。 Memcached实例状态异常 memcachedInstanceStatusAbnormal 重要 Memcached节点状态异常。 检查业务是否受影响 ,如果影响联系运维人员处理。 Memcached实例状态异常,实例可能无法访问。 Memcached实例状态异常恢复 memcachedInstanceStatusNormal 重要 Memcached节点从异常恢复正常。 检查业务是否恢复。如果应用未重连,需要重启应用进行恢复。 异常恢复事件。 实例备份失败 instanceBackupFailure 重要 DCS实例备份失败,一般可能是由于访问OBS失败等原因导致。 手动备份进行重试。 自动备份失败。 实例节点异常重启 instanceNodeAbnormalRestart 重要 一般是由于DCS实例节点异常后重启导致。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 终止超时lua脚本 scriptsStopped 提醒 一般是由于lua脚本运行时间过长,自动终止脚本运行。 优化lua脚本,防止执行超时。 lua脚本执行时间超长,被强制中断。lua脚本执行时间过长,会阻塞整个实例。 节点自动重启 nodeRestarted 提醒 一般是由于lua脚本运行时间过长,并且已执行写操作,自动重启节点终止脚本运行。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 表26 智能云接入 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ICA BGP peer连接中断 BgpPeerDisconnection 重要 BGP peer连接中断 登录网关设备,排查bgp peer断连原因 业务流量有可能会中断 BGP peer连接成功 BgpPeerConnectionSuccess 重要 BGP peer连接成功 无 无 GRE隧道状态异常 AbnormalGreTunnelStatus 重要 GRE隧道状态异常 登录网关设备,排查gre隧道状态异常原因 业务流量有可能会中断 GRE隧道状态正常 NormalGreTunnelStatus 重要 GRE隧道状态正常 无 无 设备wan口上线 EquipmentWanGoingOnline 重要 设备wan口上线 无 无 设备wan口下线 EquipmentWanGoingOffline 重要 设备wan口下线 检查是否为人为操作或设备故障 设备无法正常使用 智能企业网关设备上线 IntelligentEnterpriseGatewayGoingOnline 重要 智能企业网关设备上线 无 无 智能企业网关设备下线 IntelligentEnterpriseGatewayGoingOffline 重要 智能企业网关设备下线 检查是否为人为操作或设备故障 设备无法正常使用 表27 多活高可用服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 MAS 数据库状态异常 dbError 重要 一般是由于MAS监控到用户数据库实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 数据库状态恢复 dbRecovery 重要 数据库实例状态从异常恢复正常。 无。 业务中断 Redis状态异常 redisError 重要 一般是由于MAS监控到用户Redis实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 Redis状态恢复 redisRecovery 重要 Redis实例状态从异常恢复正常。 无。 业务中断 MongoDB状态异常 mongodbError 重要 一般是由于MAS监控到用户MongoDB实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 MongoDB状态恢复 mongodbRecovery 重要 API状态从异常恢复正常。 无。 业务中断 Elasticsearch状态异常 esError 重要 一般是由于MAS监控到用户ElasticSearch实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 Elasticsearch状态恢复 esRecovery 重要 ElasticSearch实例状态从异常恢复正常。 无。 业务中断 API接口状态异常 apiError 重要 一般是由于MAS监控到用户API状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 API接口状态恢复 apiRecovery 重要 API状态从异常恢复正常。 无。 业务中断 多活分区状态发生变化 netChange 重要 MAS服务多活管理中心探测到多活分区状态发生变化 用户登录MAS控制台查看原因及处理异常。 可能导致多活分区网络的状态改变。 表28 配置审计 服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Config 配置不合规通知 configurationNoncomplianceNotification 重要 审计规则执行结果为不合规。 修改资源不合规的配置项,使其合规。 无。 配置合规通知 configurationComplianceNotification 提示 审计规则执行结果变为合规。 无。 无。 表29 安全云脑 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 SecMaster 独享引擎创建失败 createEngineFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试。 无法创建独享引擎。 独享引擎运行异常 engineException 紧急 一般是由于流量过大或者恶意流程,插件导致。 排查流程,插件执行是否占用资源过多 查看实例监控,短期内是否实例数量暴增。 无法执行实例。 剧本实例执行失败 playbookInstanceExecFailed 一般 一般是由于剧本,流程配置出错导致。 通过实例监控查看失败原因,修改剧本,流程配置。 无。 剧本实例突增 playbookInstanceIncreaseSharply 一般 一般是由于剧本,流程配置出错导致。 通过实例监控查看突增原因,修改剧本,流程配置。 无。 日志消息突增 logIncrease 重要 上游服务产生大量日志,导致消息快速增加。 需要排查上游服务业务是否正常。 无。 日志消息突减 logsDecrease 重要 上游服务产生日志突然变小。 需要排查上游服务业务是否正常 无。 表30 密钥对管理服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 KPS 删除密钥对 KPSDeleteKeypair 提示 成功删除密钥对,此操作不可逆。 当短时间内大量触发此事件时,要检查是否出现恶意删除的情况。 被删除密钥对无法恢复。 表31 企业主机安全 服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 HSS 企业主机安全服务Agent异常离线 hssAgentAbnormalOffline 重要 一般是由于Agent与服务器通信异常,主机中的Agent进程异常等原因导致。 排查网络故障,待网络恢复正常后,若长时间Agent状态仍为“离线”,可能是Agent进程异常,需要登录主机,重启Agent进程。 业务中断。 企业主机安全服务Agent防护状态异常 hssAgentAbnormalProtection 重要 一般是由于底层资源不足造成Agent工作模式异常等原因导致。 登录主机检查资源,如发现内存或者其他系统资源过高等情况,建议优先扩容处理。如果资源够用,重启Agent进程后还是异常,提交工单让运维处理 业务中断。 表32 镜像服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 IMS 创建镜像 createImage 重要 用户创建私有镜像 无 镜像创建完成后,可使用该镜像创建云服务器。 更新镜像 updateImage 重要 用户更新私有镜像元数据 无 更新镜像关键元数据可能导致该镜像创建云服务器失败。 删除镜像 deleteImage 重要 用户删除私有镜像 无 不能使用该镜像创建云服务器。 表33 云存储网关 事件来源 事件名称 事件ID 事件级别 事件说明 CSG 网关进程状态异常 gatewayProcessStatusAbnormal 重要 当云存储网关进程状态异常时,则触发进程状态异常事件。 网关连接状态异常 gatewayToServiceConnectAbnormal 重要 当云存储网关连续5个周期无状态上报时,则触发连接异常事件。 网关与OBS连接状态异常 gatewayToObsConnectAbnormal 重要 当云存储网关无法连接到OBS时,则触发该事件。 文件系统只读 gatewayFileSystemReadOnly 重要 当云存储网关上的分区文件系统只读时,则触发该事件。 文件共享只读 gatewayFileShareReadOnly 重要 当文件共享因缓存盘存储空间不足,文件共享只读时,则触发该事件。 表34 全球加速 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GA AIP封堵 blockAIP 紧急 带宽超过5GB就会封堵,相当于把流量直接丢弃。带宽严重超限或受到攻击,一般是受到了DDoS攻击。 查看事件中的封堵原因,进行相应处理。 业务受影响。 AIP解封 unblockAIP 紧急 AIP封堵已被解封。 查看加速资源是否可用。 无。 终端节点健康状态异常 healthCheckError 重要 通过健康检查探测终端节点状态异常。 根据终端节点的健康检查结果异常如何排查?文档排查原因,未解决则提交工单。 当健康检查探测到您的终端节点异常时,不再向异常的终端节点转发流量,直到健康检查检测到终端节点恢复正常时,才会继续转发流量。 表35 企业连接 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EC 设备wan口上线 EquipmentWanGoesOnline 重要 设备wan口上线 无 无 设备wan口下线 EquipmentWanGoesOffline 重要 设备wan口下线 检查是否为人为操作或设备故障 设备无法正常使用 BGP peer连接中断 BgpPeerDisconnection 重要 BGP peer连接中断 检查是否为人为操作或设备故障 设备无法正常使用 BGP peer连接成功 BgpPeerConnectionSuccess 重要 BGP peer连接成功 无 无 GRE隧道状态异常 AbnormalGreTunnelStatus 重要 GRE隧道状态异常 检查是否为人为操作或设备故障 设备无法正常使用 GRE隧道状态正常 NormalGreTunnelStatus 重要 GRE隧道状态正常 无 无 智能企业网关设备上线 IntelligentEnterpriseGatewayGoesOnline 重要 智能企业网关设备上线 无 无 智能企业网关设备下线 IntelligentEnterpriseGatewayGoesOffline 重要 智能企业网关设备下线 检查是否为人为操作或设备故障 设备无法正常使用 表36 MapReduce服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 MRS DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用,导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理,业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用,读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用,导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用,导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用,导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问,部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面,确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志,确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志,确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM-45425 ClickHouse服务不可用”章节。 ClickHouse服务异常,无法通过 FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM-27001 DBService服务不可用”章节。 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruptionBetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM-27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetweenActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM-27004 DBService主备数据不同步”章节。 主备DBServer数据不同步,如果此时主实例异常,则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM-27007 数据库进入只读模式”章节。 数据库进入只读模式,业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM-24000 Flume服务不可用”章节。 当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM-24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动,定义在该实例下的数据传输任务暂时中断,对于实时数据传输,会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM-24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM-24004 Flume读取数据异常”章节。 如果数据源有数据,Flume Source持续读取不到数据,数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM-24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM-24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM-24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效,对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM-24012 Flume证书文件已过期”章节。 Flume证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM-24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM-24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效,对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM-24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM-14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM-14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM-14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM-14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时,其数据就会与其他JournalNode节点的数据不同步。如果超过一半的JournalNode节点的数据不同步时,NameNode将无法工作,导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM-14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新,则说明HDFS元数据合并功能异常,需要修复。如不修复,HDFS在运行一段时间后,Editlog会一直增长。此时如果重启HDFS,由于要加载非常多的Editlog,会导致启动非常耗时。另外,该告警的产生也说明备NameNode功能异常,导致NameNode的HA机制失效。一旦主NameNode故障,则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM-14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时,表示该DataNode节点上存在故障的磁盘分区,可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM-18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM-18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM-18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM-18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内,该告警一直存在,但任务仍继续正常执行,没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM-18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务,如无法通过Mapreduce查看任务日志,无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM-18022 Yarn队列资源不足”章节。 应用任务结束时间变长。 新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM-19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM-19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM-16004 Hive服务不可用”章节。 Hive无法提供数据加载,查询,提取服务。 Hive 数据仓库 被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM-16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除,会导致在默认数据仓库中创建库、创建表失败,影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM-16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改,会影响当前用户,用户组,其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM-16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置,将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM-16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在,会影响Hive on Tez,Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM-20002 Hue服务不可用”章节。 系统无法提供数据加载,查询,提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM-29000 Impala服务不可用”章节。 Impala服务异常,无法通过FusionInsight Manager对Impala进行集群操作,无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM-38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务,用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM-38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常,会影响Broker之间的元数据同步,以及Kafka与ZooKeeper之间的交互,进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM-38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常,会导致该数据目录上所有Partition的当前副本下线,多个节点同时出现数据目录状态异常,可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM-38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险,当副本所在节点异常时,会直接导致Partition没有leader,影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM-25500 KrbServer服务不可用”章节。 告警发生时,不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM-29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM-25000 LdapServer服务不可用”章节。 告警发生时,不能对集群中的KrbServer和LdapServer用户进行任何操作。例如,无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色,也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM-25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时,有可能是Manager上的LdapServer数据损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM-25005 Nscd服务异常”章节。 nscd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM-25006 Sssd服务异常”章节。 sssd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到ldap中的数据,影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM-23001 Loader服务不可用”章节。 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM-17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM-45275 Ranger服务不可用”章节。 当Ranger服务不可用时,Ranger无法正常工作,Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM-45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时,不影响Ranger原生UI访问;当两个RangerAdmin状态异常时,Ranger原生UI无法访问,无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM-43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM-26051 Storm服务不可用”章节。 集群无法对外提供Storm服务,用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM-13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务,依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOfZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM-13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据,导致Zookeeper服务不可用。 表37 云证书管理服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CCM 吊销证书 CCMRevokeCertificate 重要 证书发起吊销,吊销后证书将不可使用 检查吊销证书是否在预期内,可以终止吊销行为。 证书吊销后,会导致业务中断。 自动部署证书失败 CCMAutoDeploymentFailure 重要 自动部署证书任务发生失败 及时关注并且检查被替换证书的服务资源是否正常。 证书过期后未部署新证书,会导致业务中断。 证书过期 CCMCertificateExpiration 重要 SSL证书过期 及时购买新证书。 证书过期后未部署新证书,会导致业务中断。 证书即将过期 CCMcertificateAboutToExpiration 重要 SSL证书即将过期,与当前时间相隔一周,一个月,两个月的证书定义为即将到期的证书 及时续费或者购买新证书。 证书过期后未部署新证书,会导致业务中断。 表38 云桌面 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Workspace 桌面心跳异常 desktopStatusAbnormal 重要 一般是由于桌面网络不通、密钥丢失等原因。 重启桌面。 确认桌面时间是否与当前时间一致,否则手动调整桌面时间与当前时间一致。 确认桌面是否有安装特殊的安全软件或网络连通软件,如有安装,请卸载后重启或卸载后重新安装HDCAgent再重启。 桌面无法接入使用。 桌面池分配桌面失败 desktopPoolAssignFailed 重要 一般是由于策略等原因导致。 调整桌面池策略,确保桌面池中有空闲桌面或能自动创建桌面。 Linux桌面与纯数字用户分配失败,则请开启用户名前缀功能。 无法分配新的桌面。 桌面接入失败 desktopAccessFailed 重要 一般是由于关机重启、接入网关异常、网络故障等原因。 如有关机重启等电源操作,请等待一段时间后桌面状态正常时再次尝试接入。 确认网络环境,保证网络畅通的情况下重新接入。 桌面无法接入使用。 桌面开机失败 desktopStartFailed 重要 一般是由于底层资源不足等原因导致。 等待一段时间后尝试重新开机。 桌面无法接入使用。 桌面池自动扩容失败 desktopPoolExpandFailed 重要 一般是由于实例配额不足或底层资源不足等原因导致。 如果是配额不够了,优先申请扩大配额(桌面数,CPU,内存,VPC等)。 如果是底层资源不够了,请等待下一个扩容周期再查看。 如果不需要自动扩容桌面,请及时关闭桌面池自动扩容功能。 无法扩容新的桌面。 专属主机桌面迁移失败 desktopMigrateFailed 重要 一般是由于主机异常导致 请换其他的专属主机进行桌面迁移。 请联系技术人员排查并修复专属主机问题。 桌面可能无可用专属主机调度。 表39 数据库代理 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBPROXY 数据库代理与数据库连通性异常 proxy_connection_failure_to_db 重要 数据库代理与主库建立新连接失败,与只读库可能存在建立新连接失败。一般是由于数据库/数据库代理压力过大,或代理与数据库间网络异常 观察数据库与数据库代理压力指标后(连接数、活跃连接数、CPU使用率)调整相应参数,压力指标正常情况下提工单处理 通过代理访问的业务流量中断 数据库代理与数据库只读库连通性异常 proxy_connection_failure_to_replica 一般 数据库代理与只读库建立新连接失败。一般是由于只读库压力过大,或代理与只读库间网络异常 观察只读库压力指标后(连接数、活跃连接数、CPU使用率)调整相应参数,压力指标正常情况下提工单处理 通过代理访问的业务读流量部分中断 数据库安全组未放通数据库代理地址 proxy_connection_failure_cause_security_group 重要 一般是由于数据库安全组未放通代理地址导致 修改数据库所使用安全组规则放通代理地址 通过代理访问的业务流量中断 父主题: 附录
-
事件监控支持的事件说明 表1 弹性云服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ECS 因系统故障触发重部署 startAutoRecovery 重要 弹性云服务器所在的主机出现故障时,系统会自动将弹性云服务器迁移至正常的物理机,迁移过程中系统会自动重启云服务器。 等待虚拟机迁移成功,状态恢复正常。 实例重部署开始。 因系统故障重部署已完成 endAutoRecovery 重要 当自动迁移完成后,弹性云服务器已恢复正常。 确认业务是否恢复。 实例重部署结束。 实例重部署超时 faultAutoRecovery 重要 迁移弹性云服务器至正常的物理机操作超时。 确认应用集群业务是否受损。 实例重部署失败。 删除虚拟机 deleteServer 重要 删除云服务器。包括: 在管理控制台进行删除操作。 通过API接口下发删除指令。 确认虚拟机是否删除成功。 实例资源删除。 重启虚拟机 rebootServer 次要 云服务器重启。包括: 在管理控制台进行重启操作。 通过API接口下发重启指令。 确认业务是否恢复。 虚拟机重启。 关闭虚拟机 stopServer 次要 云服务器关机。包括: 在管理控制台进行关机操作。 通过API接口下发关机指令。 说明: “关闭虚拟机”事件需要开启云审计后才生效。 确认是否关机成功。 实例停机。 删除网卡 deleteNic 重要 云服务器删除网卡。包括: 在管理控制台删除网卡。 通过API接口下发删除网卡指令。 确认是网卡否删除成功。 网卡资源删除。 变更规格 resizeServer 次要 云服务器规格变更。包括: 在管理控制台进行变更规格。 通过API接口下发变更规格指令。 确认规格是否变更成功。 实例先停机后开机。 GuestOS系统层重启告警 RestartGuestOS 一般 GuestOS内部重启。 确认虚拟机是否重启成功。 实例重启。 系统故障导致虚拟机故障 VMFaultsByHostProcessExceptions 紧急 云服务器所在宿主机服务进程异常,导致云服务器故障。 确认应用集群业务是否受损。 实例故障。 开机失败 faultPowerOn 重要 云服务器开机失败。 确认应用集群业务是否受损。 实例开机失败。 宿主机存在宕机风险 hostMayCrash 重要 弹性云服务器所在的宿主机存在宕机风险,且由于一些原因,无法通过热迁移手段规避该风险。 确认应用集群业务是否受损。 实例有重启风险。 实例计划迁移已完成 instance_migrate_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务已完成。 等待运行状态恢复正常,确认业务是否自动恢复。 业务存在中断的可能。 实例计划迁移执行中 instance_migrate_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务执行中。 等待自动恢复事件结束,观察业务是否受到影响。 业务存在中断的可能。 实例计划迁移已取消 instance_migrate_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务已取消。 无 无 实例计划迁移失败 instance_migrate_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务失败。 联系运维人员处理。 业务中断。 实例计划迁移等待执行 instance_migrate_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间迁移,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行迁移操作。 实例计划规格变更失败 instance_resize_failed 重要 实例在计划时间规格变更,任务失败。 联系运维人员处理。 业务中断。 实例计划规格变更已完成 instance_resize_completed 重要 实例在计划时间规格变更,任务已完成。 无 无 实例计划规格变更执行中 instance_resize_executing 重要 实例在计划时间规格变更,任务执行中。 等待自动恢复事件结束,观察虚拟机是否正常变更成功。 业务中断 实例计划规格变更已取消 instance_resize_canceled 重要 实例在计划时间规格变更,任务已取消。 无 无 实例计划规格变更等待执行 instance_resize_scheduled 重要 实例在计划时间规格变更,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行规格变更操作。 实例计划重新部署等待执行 instance_redeploy_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行重部署。 实例计划重启等待执行 instance_reboot_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间重启,任务等待执行。 确认执行窗口对业务的影响。 实例等待执行重启。 实例计划停止等待执行 instance_stop_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间停止,任务等待执行。 确认执行窗口对业务的影响。 实例中止等待。 开始热迁移 liveMigrationStarted 重要 弹性云服务器所在的主机可能出现故障,提前对虚拟机进行热迁移,避免宕机后导致业务中断。 等待虚拟机迁移成功,状态恢复正常。 实例热迁移开始。 热迁移完成 liveMigrationCompleted 重要 热迁移已经结束,弹性云服务器已恢复正常。 确认业务是否受到影响。 实例热迁移结束。 热迁移失败 liveMigrationFailed 重要 弹性云服务器热迁移出现问题,未热迁移成功。 确认应用集群业务是否受损。 实例热迁移失败。 GPU发生double bit ECC告警 doubleBitEccError 重要 GPU硬件存在double bit ECC故障。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU A100 硬件发生ECC告警 gpuA100EccAlarm 重要 GPU卡出现ECC硬件故障。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU ECC内存页隔离失败告警 eccPageRetirementRecordingFailure 重要 GPU硬件存在ECC故障,驱动自动隔离内存页时失败。 如果业务受损,请提交工单。 可能会造成业务中断,故障页隔离隔离失败,可能导致业务无法使用GPU。 GPU ECC页隔离告警 eccPageRetirementRecordingEvent 一般 存在ECC硬件错误,发生内存页自动隔离。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般随ECC故障告警出现,单独出现不影响业务。 GPU single bit ECC过多告警 highSingleBitEccErrorRate 重要 ECC硬件存在过高ECC single bit错误。 如果业务受损停止,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 single bit的错误能够自动恢复,一般不影响GPU相关应用程序。 GPU显存页告警 gpuMemoryPageFault 重要 GPU内存页发生故障,故障可能由应用、驱动或硬件引起 如果业务受损,请提交工单。 可能GPU硬件问题导致显存故障,导致业务异常退出。 GPU驱动掉卡告警 gpuDriverLinkFailureAlarm 重要 GPU链路正常,NVIDIA驱动找不到GPU硬件 建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般驱动问题导致找不到对应位置的GPU。 GPU图像引擎异常告警 graphicsEngineException 重要 GPU图像引擎发生故障,可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致图像引擎故障,导致业务异常退出。 GPU NVLINK链路错误告警 nvlinkError 重要 NVLINK的链路出现硬件故障 如果业务受损,请提交工单。 NVLINK链路故障,影响业务使用GPU NVLINK能力。 GPU存在infoROM告警 gpuInfoROMAlarm 重要 GPU可能存在硬件问题,导致驱动读取不到inforom信息。 非敏感业务可以继续使用该GPU卡,敏感业务请提交工单。 对业务暂时没有影响,当GPU硬件出现ECC故障时,可能无法自动完成故障页隔离,导致业务受损。 GPU隔离页过多告警 gpuTooManyRetiredPagesAlarm 重要 GPU硬件存在过多ECC隔离页。 如果业务受损,请提交工单。 GPU硬件存在过多ECC故障,可能频繁影响业务正常运行。 GPU卡链路故障告警 gpuPcieLinkFailureAlarm 重要 GPU链路异常,通过lspci查看GPU硬件出现故障。 如果业务受损,请提交工单。 硬件问题导致GPU链路异常,驱动无法使用GPU。 虚拟机GPU丢卡告警 vmLostGpuAlarm 重要 虚拟机实际有的GPU卡数量比规格里应分配的GPU卡数量少。 如果业务受损,请提交工单。 虚拟机GPU卡丢失。 GPU温度过高告警 highTemperatureEvent 重要 GPU硬件温度过高。 如果业务受损,请提交工单。 GPU温度超过温度阈值,可能会引起GPU卡性能下降。 FPGA链路故障 FPGALinkFault 紧急 弹性云服务器所在的主机上FPGA卡故障。包括: FPGA卡故障。 FPGA卡故障恢复中。 业务应用做成高可用。 FPGA卡故障恢复后,确认业务是否自动恢复。 业务中断。 GPU SRAM存在Uncorrectable ECC告警 SRAMUncorrectableEccError 重要 GPU卡SRAM出现Uncorrectable ECC Error硬件故障。 如果业务受损,请提交工单。 可能GPU硬件问题导致SRAM故障,导致业务异常退出。 GPU链路故障 GPULinkFault 紧急 弹性云服务器所在的主机上GPU卡故障。包括: GPU卡故障。 GPU卡故障恢复中。 业务应用做成高可用。 GPU卡故障恢复后,确认业务是否自动恢复。 业务中断。 实例计划重新部署问询中 instance_redeploy_inquiring 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机,任务问询中。 授权重新部署到新主机操作。 无 本地盘换盘取消 localdisk_recovery_canceled 重要 因本地盘故障,更换本地盘任务,任务已取消 无 无 本地盘换盘等待执行 localdisk_recovery_scheduled 重要 因本地盘故障,更换本地盘任务,任务等待执行 确认执行窗口对业务的影响 无 GPU存在通用Xid事件告警 commonXidError 重要 GPU卡出现Xid事件告警 如果业务受损,请提交工单。 gpu硬件、驱动、应用问题导致Xid事件,可能导致业务异常退出。 nvidia-smi命令卡住 nvidiaSmiHangEvent 重要 nvidia-smi命令超时,该命令可能卡住 如果业务受损,请提交工单。 可能是命令执行过程中,触发驱动问题,导致命令卡住,同时可能出现业务使用驱动报错问题。 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorCount 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡 业务可能受到影响终止 实例计划重新部署已取消 instance_redeploy_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 无 无 实例计划重新部署执行中 instance_redeploy_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 等待自动恢复事件结束,观察业务是否受到影响。 业务中断 实例计划重新部署已完成 instance_redeploy_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 等待运行状态恢复正常,观察业务是否受到影响。 业务恢复正常 实例计划重新部署失败 instance_redeploy_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间重新部署到新主机。 联系运维人员处理。 业务中断 本地盘换盘问询中 localdisk_recovery_inquiring 重要 本地盘故障 授权本地盘换盘操作。 本地盘不可用 本地盘换盘执行中 localdisk_recovery_executing 重要 本地盘故障 等待本地盘换盘结束,观察本地盘功能是否正常。 本地盘不可用 本地盘换盘已完成 localdisk_recovery_completed 重要 本地盘故障 等待运行状态恢复正常,确认本地盘功能是否自动恢复。 本地盘恢复正常 本地盘换盘失败 localdisk_recovery_failed 重要 本地盘故障 联系运维人员处理。 本地盘不可用 DAVP: vasmi查询缺少die设备节点 DAVPSMICardNotFound 重要 有可能是驱动故障或发生掉卡 重启虚拟机,仍无法加载设备需转硬件处理 DAVP卡无法正常使用 DAVP: lspci查询缺少设备 DAVPLspciCardNotFound 重要 一般是由于DAVP掉卡 转硬件处理 DAVP卡无法正常使用 DAVP: 温度超过85℃阈值 TemperatureOverDfLimit 重要 核心模块温度超过85℃引起降频 暂停业务,转硬件查看散热系统,device复位 会导致DAVP卡降频 DAVP: 温度超过105℃阈值 TemperatureOverSdLimit 重要 核心模块温度超过105℃引起高温告警 暂停业务,转硬件查看散热系统,device复位 触发断电保护,DAVP卡无法正常使用 DAVP: 设备节点核心单元出现异常 DeviceCoreAbnormal 重要 当前故障很可能需要客户对使用的Die设备节点进行重启 在收集必要信息后,重启Die以尝试恢复 重启Die可能中断客户业务 自动恢复:弹性云服务器所在的硬件出现故障时,系统会自动将弹性云服务器迁移至正常的物理机,该过程会导致云服务器重启。 表2 裸金属服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 BMS GPU SRAM存在 Uncorrectable ECC告警 SRAMUncorrectableEccError 重要 GPU卡SRAM出现Uncorrectable ECC Error硬件故障。 如果业务受损,请提交工单。 可能GPU硬件问题导致SRAM故障,导致业务异常退出 主机重启 osReboot 重要 裸金属实例重启。包括: 在管理控制台进行重启操作 通过API接口下发重启指令 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 异常重启 serverReboot 重要 裸金属实例异常重启。包括: 操作系统异常导致重启 主机硬件故障导致重启 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 主机关机 osShutdown 重要 裸金属实例关机。包括: 在管理控制台进行关机操作 通过API接口下发关机指令 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 异常关机 serverShutdown 重要 裸金属实例异常关机。包括: 主机异常下电 主机硬件故障导致关机 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 网络中断 linkDown 重要 裸金属服务器网络中断。包括: 主机异常关机、重启 交换机故障引起的网络中断 网关节点故障引起的中断 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 业务中断 PCIE异常 pcieError 重要 裸金属服务器PCIe设备硬件故障。包括: 主板故障 PCIe设备故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响网络或硬盘读写业务 硬盘故障 diskError 重要 裸金属服务器磁盘故障。包括: 硬盘背板故障 硬盘本身故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 云存储连接异常 storageError 重要 裸金属服务器云硬盘链接异常。包括: SDI卡故障 远端存储故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 GPU存在infoROM告警 gpuInfoROMAlarm 重要 GPU可能存在硬件问题,导致驱动读取不到inforom信息。 业务可以继续使用该GPU卡,不敏感业务可以继续使用,敏感业务请提交工单处理。 对业务暂时没有影响,当GPU硬件出现ECC故障时,可能无法自动完成故障页隔离,导致业务受损。 GPU发生double bit ECC告警 doubleBitEccError 重要 GPU硬件存在double bit ECC故障。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU隔离页过多告警 gpuTooManyRetiredPagesAlarm 重要 GPU硬件存在过多ECC隔离页。 如果业务受损,请提交工单。 GPU硬件存在过多ECC故障,可能频繁影响业务运行。 GPU A100 硬件发生ECC告警 gpuA100EccAlarm 重要 GPU卡出现ECC硬件故障。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离后业务可继续正常使用GPU。 GPU ECC内存页隔离失败告警 eccPageRetirementRecordingFailure 重要 GPU硬件存在ECC故障,驱动自动隔离这些页时失败。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 可能会造成业务中断,故障页隔离隔离失败,可能导致业务无法使用GPU。 GPU ECC页隔离告警 eccPageRetirementRecordingEvent 一般 存在ECC硬件错误,发生内存页自动隔离。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般随ECC故障告警出现,单独出现不影响业务。 GPU single bit ECC过多告警 highSingleBitEccErrorRate 重要 ECC硬件存在过高ECC single bit错误。 如果业务受损停止,则重启业务恢复。 如果业务无法启动,建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 single bit的错误能够自动恢复,一般不影响GPU相关应用程序。 GPU驱动掉卡告警 gpuDriverLinkFailureAlarm 重要 GPU链路正常,NVIDIA驱动找不到GPU硬件。 建议尝试重启虚拟机恢复业务。 如果业务仍然无法恢复,请提交工单。 一般驱动问题导致找不到对应位置的GPU。 GPU卡链路故障告警 gpuPcieLinkFailureAlarm 重要 GPU链路异常,通过lspci无法查看GPU硬件信息。 如果业务受损,请提交工单。 硬件问题导致GPU卡链路异常,驱动无法使用GPU。 虚拟机GPU丢卡告警 vmLostGpuAlarm 重要 虚拟机实际有的GPU卡数量比规格里应分配的GPU卡数量少。 如果业务受损,请提交工单。 虚拟机GPU卡丢失。 GPU显存页告警 gpuMemoryPageFault 重要 GPU显存页发生故障,故障可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致显存故障,导致业务异常退出 GPU图像引擎异常告警 graphicsEngineException 重要 GPU图像引擎发生故障,可能由应用、驱动或硬件引起。 如果业务受损,请提交工单。 可能GPU硬件问题导致图像引擎故障,导致业务异常退出。 GPU温度过高告警 highTemperatureEvent 重要 GPU硬件温度过高。 如果业务受损,请提交工单。 GPU温度超过温度阈值,可能会引起GPU卡性能下降 GPU NVLINK链路错误告警 nvlinkError 重要 NVLINK的链路出现硬件故障。 如果业务受损,请提交工单。 NVLINK链路故障,影响业务使用GPU nvlink能力。 系统运维问询中 system_maintenance_inquiring 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务问询中 授权维修实例操作 无 系统运维等待执行 system_maintenance_scheduled 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务等待执行 确认执行窗口对业务的影响 无 系统运维已取消 system_maintenance_canceled 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务已取消 无 无 系统运维执行中 system_maintenance_executing 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务执行中 等待维修结束,观察业务是否受到影响 业务中断 系统运维已完成 system_maintenance_completed 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务已完成 等待运行状态恢复正常,确认业务是否恢复 业务恢复正常 系统运维失败 system_maintenance_failed 重要 由于底层硬件、系统运维等影响,实例在计划时间维修,任务失败 联系运维人员处理 业务中断 GPU存在通用Xid事件告警 commonXidError 重要 GPU卡出现Xid事件告警 如果业务受损,请提交工单。 gpu硬件、驱动、应用问题导致Xid事件,可能导致业务异常退出。 NPU: npu-smi info查询缺少设备 NPUSMICardNotFound 重要 可能是由于昇腾驱动问题或NPU掉卡 转昇腾和硬件处理 NPU卡无法正常使用 NPU: PCIe链路异常 PCIeErrorFound 重要 Lspci查询卡状态为rev ff 重启,转硬件处理 NPU卡无法正常使用 NPU: lspci查询缺少设备 LspciCardNotFound 重要 一般是由于NPU掉卡 转硬件处理 NPU卡无法正常使用 NPU: 温度超过阈值 TemperatureOverUpperLimit 重要 可能是由于DDR颗粒温度过高或过温软件预警 暂停业务,重启系统,查看散热系统,device复位 可能造成过温下电及device丢失 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorCount 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡 业务可能受到影响终止 NPU: 需要重启实例 RebootVirtualMachine 提示 当前故障很可能需要重启进行恢复 在收集必要信息后,重启以尝试恢复 重启可能中断客户业务 NPU: 需要复位SOC ResetSOC 提示 当前故障很可能需要复位SOC进行恢复 在收集必要信息后,复位SOC以尝试恢复 复位SOC可能中断客户业务 NPU: 需要退出AI任务重新执行 RestartAIProcess 提示 当前故障很可能需要客户退出当前的AI任务并尝试重新执行 在收集必要信息后,尝试退出当前AI任务并尝试重新执行 退出当前AI任务以便重新执行 NPU: errorcode告警 NPUErrorCodeWarning 重要 这里涵盖了大量重要及以上的NPU错误码,您可以根据这些错误码进一步定位错误原因 对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误 NPU当前存在故障,可能导致客户业务终止 nvidia-smi命令卡住 nvidiaSmiHangEvent 重要 nvidia-smi命令超时,该命令可能卡住 如果业务受损,请提交工单。 可能是命令执行过程中,触发驱动问题,导致命令卡住,同时可能出现业务使用驱动报错问题。 NV Peer Memory加载到内核异常 NvPeerMemException 次要 Nvlink加载异常或nv_peer_mem加载异常 nv_peer_mem存在异常,建议尝试恢复或重新安装Nvlink Nv peer mem无法正常使用 Nv-fabricmanager服务运行异常 NvFabricManagerException 次要 机器符合Nvlink使用条件,且安装Nvlink服务,但服务异常 Nvlink存在异常,建议尝试恢复或重新安装Nvlink Nvlink无法正常使用 IB卡使用状态异常 InfinibandStatusException 重要 网卡状态或物理状态异常 转硬件处理 IB卡无法正常工作 表3 弹性公网IP 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EIP EIP带宽超限事件 EIPBandwidthOverflow 重要 当前使用带宽已超过购买的带宽,可能会导致网络变慢或丢包发生。其中,该事件取值为周期内的最大值,而EIP的出入网带宽指标数据,取值为周期时间点的值。 其中: “egressDropBandwidth”为本周期内出云丢弃带宽值(Byte),“egressAcceptBandwidth”为本周期内出云通过带宽值(Byte),“egressMaxBandwidthPerSec”为本周期内出云带宽峰值(Byte/s),“ingressAcceptBandwidth”为本周期内入云通过带宽值(Byte),“ingressMaxBandwidthPerSec”为本周期内入云带宽峰值(Byte/s),“ingressDropBandwidth”为本周期内入云丢弃带宽值(Byte)。 说明: EIP带宽超限事件当前仅在“华北-北京一”、“华北-北京四”、“华北-乌兰察布一”、“华东-上海一”、“华东-上海二”、“西南-贵阳一”和“华南-广州”区域上线。 检查EIP带宽是否一直增加,业务是否正常,并考虑扩容。 网络变慢或丢包发生 释放EIP deleteEip 次要 EIP资源被删除。 检查是否误操作删除资源。 无法访问公网 EIP封堵 blockEIP 紧急 带宽超过5GB就会封堵,相当于把流量直接丢弃。带宽严重超限或受到攻击,一般是受到了DDoS攻击。 更换EIP,避免业务受到影响。 同时查看事件中的封堵原因,进行相应处理。 业务受影响 EIP解封 unblockEIP 紧急 EIP封堵已被解封。 换回原EIP,将被解封EIP重新使用,避免资源浪费。 无 EIP开始DDoS清洗 ddosCleanEIP 严重 客户购买的EIP发生了DDoS清洗。 查看是否遭受攻击。 客户的业务可能受损。 EIP结束DDoS清洗 ddosEndCleanEip 严重 客户购买的EIP结束了DDoS清洗。 查看是否遭受攻击。 客户的业务可能受损。 企业级Qos带宽超限事件 EIPBandwidthRuleOverflow 重要 当前使用企业级Qos带宽已超过分配的带宽,可能会导致网络变慢或丢包发生。其中,该事件取值为周期内的最大值,而EIP的出入网带宽指标数据,取值为周期时间点的值。 其中:“egressDropBandwidth”为本周期内出云丢弃带宽值(Byte),“egressAcceptBandwidth”为本周期内出云通过带宽值(Byte),“egressMaxBandwidthPerSec”为本周期内出云带宽峰值(Byte/s),“ingressAcceptBandwidth”为本周期内入云通过带宽值(Byte),“ingressMaxBandwidthPerSec”为本周期内入云带宽峰值(Byte/s),“ingressDropBandwidth”为本周期内入云丢弃带宽值(Byte)。 检查EIP带宽是否一直增加,业务是否正常,并考虑扩容。 网络变慢或丢包发生。 表4 DDoS高防 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDoS高防 DDoS攻击事件 ddosAttackEvents 严重 客户购买的高防实例线路出现了DDoS攻击。 根据攻击流量和攻击类型判断对业务的影响,如果攻击流量超过客户购买的弹性带宽需要更换线路或提升规格。 客户的业务可能受损。 域名调度事件 domainNameDispatchEvents 重要 域名对应的高防cname触发了调度,修改了解析记录到其他的高防IP上。 请关注该域名的业务情况。 一般情况下业务不受影响。 黑洞事件 blackHoleEvents 重要 客户的高防实例攻击流量超出购买的防护阈值。 黑洞解封时间默认为30分钟,具体时长与当日黑洞触发次数和攻击峰值相关,最长可达24小时。如需提前解封,需要用户升级DDoS高防服务并联系技术支持。 客户的业务可能受损。 黑洞恢复 cancelBlackHole 提示 客户的高防实例从黑洞状态恢复。 仅作提示,无需特殊处理。 客户的业务恢复。 IP调度事件 ipDispatchEvents 重要 IP路由发生变化 请关注该IP的业务情况。 一般情况下业务不受影响。 表5 弹性负载均衡 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ELB 健康检查异常 healthCheckUnhealthy 重要 一般是由于后端服务器服务离线导致。事件上报一定次数后,不再上报。 检查后端服务器的服务运行状态。 ELB不会往异常的后端转发流量,如果云服务器组下只有一个后端,则业务会中断。 健康检查恢复正常 healthCheckRecovery 次要 后端服务器健康检查恢复正常。 无需处理。 负载均衡器到后端服务器流量恢复正常。 表6 云备份 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CBR 创建备份失败 backupFailed 紧急 创建备份失败 尝试手动创建备份或者联系技术支持 可能造成数据丢失 使用备份恢复资源失败 restorationFailed 紧急 使用备份恢复资源失败 尝试使用其他备份恢复或者联系技术支持 可能造成数据丢失 备份删除失败 backupDeleteFailed 紧急 备份删除失败 稍后重试删除或者联系技术支持 可能造成计费异常 存储库删除失败 vaultDeleteFailed 紧急 储存库删除失败 稍后重试或联系技术支持 可能造成计费异常 复制失败 replicationFailed 紧急 备份复制失败 稍后重试或联系技术支持 可能造成数据丢失 创建备份成功 backupSucceeded 重要 创建备份成功 无 无 使用备份恢复资源成功 restorationSucceeded 重要 使用备份恢复资源成功 观察数据是否已成功恢复。 无 备份删除成功 backupDeletionSucceeded 重要 备份删除成功 无 无 存储库删除成功 vaultDeletionSucceeded 重要 存储库删除成功 无 无 复制成功 replicationSucceeded 重要 备份复制成功 无 无 客户端离线 agentOffline 紧急 客户端离线 请确保客户端状态正常且能够正常连接华为云。 可能造成备份任务失败。 客户端上线 agentOnline 重要 客户端上线 无。 无。 表7 关系型数据库--资源异常事件 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 RDS 创建实例业务失败 createInstanceFailed 重要 创建实例失败产生的事件,一般是磁盘个数,配额大小不足,底层资源耗尽导致。 所选资源规格不足,请选择其他可用规格重试。 创建实例失败。 实例全量备份失败 fullBackupFailed 重要 单次全量备份失败产生的事件,不影响以前成功备份的文件,但会对“恢复到指定时间点”的功能有一些影响,导致“恢复到指定时间点”时增量备份的恢复时间延长。 全量备份失败,请重新进行操作。 全量备份失败,影响备份恢复。 主备切换异常 activeStandBySwitchFailed 重要 主备切换异常是由于网络、物理机有某种故障导致备机没有接管主机的业务,短时间内会恢复到原主机继续提供服务。 主备切换失败,请在业务低峰期重新进行操作。 主备切换失败。 复制状态异常 abnormalReplicationStatus 重要 出现”复制状态异常“事件通常有两种情况: 1、主机与备机或只读实例之间复制时延太大(一般在写入大量数据或执行大事务的时候出现),在业务高峰期容易出现阻塞。 2、主机与备机或只读实例之间的网络中断,导致主机与备机或只读实例复制异常。 数据库复制状态异常,正在进行修复,修复后会第一时间通知您,谢谢。 复制状态异常。 复制状态异常已恢复 replicationStatusRecovered 重要 即复制时延已回到正常范围内,或者主备之间的网络通信恢复。 数据库复制状态已恢复正常,请确认业务是否正常运行。 复制状态异常恢复。 实例运行状态异常 faultyDBInstance 重要 由于灾难或者物理机故障导致单机或者主实例故障时会上报本事件,属于关键告警事件。 实例状态异常,正在进行修复,修复后会第一时间通知您,谢谢。 实例状态异常。 实例运行状态异常已恢复 DBInstanceRecovered 重要 针对灾难性的故障,RDS有高可用工具会自动进行备机重建,重建完成之后即会上报本事件。 实例状态已恢复正常,请确认业务是否正常运行。 实例状态异常恢复。 单实例转主备实例失败 singleToHaFailed 重要 创建备机时或备机创建完成后主备机之间配置同步发生故障时会产生此事件,一般是由于备节点所在数据中心资源不足导致。 单转主备实例失败,正在进行自动重试。 单实例转主备实例失败。 数据库进程重新启动 DatabaseProcessRestarted 重要 一般是内存不足、负载过高导致数据库进程停止 数据库重启完成,请确认业务是否正常运行。 主节点数据库重启,业务短暂影响。 实例磁盘满 instanceDiskFull 重要 一般是由于数据空间占用过大导致。 实例磁盘满,请进行扩容操作。 实例磁盘空间打满,影响业务继续写入。 实例磁盘满恢复 instanceDiskFullRecovered 重要 实例磁盘状态恢复正常。 磁盘可用空间恢复正常,请确认业务是否正常运行。 实例磁盘空间可用量恢复正常。 kafka连接失败 kafkaConnectionFailed 重要 一般是由于网络波动或kafka服务端出现异常等原因导致。 检查业务是否受到影响。 无。 表8 关系型数据库--操作类事件 事件来源 事件名称 事件ID 事件级别 事件说明 RDS 重置数据库管理员密码 resetPassword 重要 重置数据库管理员密码。 集群扩容等操作 instanceAction 重要 磁盘扩容、规格变更。 删除集群下的实例 deleteInstance 次要 删除集群下的实例。 修改备份策略 setBackupPolicy 次要 修改备份策略。 修改参数组 updateParameterGroup 次要 修改参数组。 删除参数组 deleteParameterGroup 次要 删除参数组。 重置参数组 resetParameterGroup 次要 重置参数组。 修改数据库端口号 changeInstancePort 重要 修改数据库端口号。 实例主备切换 PrimaryStandbySwitched 重要 实例主备切换。 表9 文档数据库服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDS 创建实例业务失败 DDSCreateInstanceFailed 重要 创建文档数据库实例失败产生的事件,一般是由于磁盘个数、配额不足,底层资源耗尽导致。 检查磁盘个数、配额大小是否满足需求,并考虑释放资源后重新创建实例。 无法创建数据库实例。 复制状态异常 DDSAbnormalReplicationStatus 重要 出现”复制状态异常“事件通常有两种情况: 1、主机与备机或只读实例之间复制时延太大(一般在写入大量数据或执行大事务的时候出现),在业务高峰期容易出现阻塞。 2、主机与备机或只读实例之间的网络中断,导致主机与备机或只读实例复制异常。 提交工单。 不会导致原来实例的读写中断,客户的应用是无感知的。 复制状态异常已恢复 DDSReplicationStatusRecovered 重要 复制时延已回到正常范围内,或者主备之间的网络通信恢复。 不需要处理。 无 实例运行状态异常 DDSFaultyDBInstance 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 DDSDBInstanceRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 DDSFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 DDSDBNodeRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 实例主备切换 DDSPrimaryStandbySwitched 重要 在手动触发的主备倒换或节点故障自动触发的故障倒换场景下,会上报该事件。 不需要处理。 无 数据盘空间不足 DDSRiskyDataDiskUsage 重要 数据盘空间不足,产生此告警。 请参见对应服务用户指南中“扩容磁盘”的内容,进行磁盘扩容。 实例被设为只读模式,数据无法写入。 数据盘空间已扩容并恢复可写 DDSDataDiskUsageRecovered 重要 数据盘空间已扩容并恢复可写,产生此事件。 无需处理。 无影响。 用户计划删除KMS密钥 DDSplanDeleteKmsKey 重要 一般是由于用户计划删除kms的key导致。 计划删除kms的key后,及时恢复kms的key或者及时解密数据。 kms的key被删除后用户无法进行磁盘加密。 表10 云数据库GaussDB NoSQL 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 NoSQL 创建实例业务失败 NoSQLCreateInstanceFailed 重要 一般是由于实例配额不足或底层资源不足等原因导致。 先释放不再使用的实例再尝试重新发放,或者提交工单调整配额上限。 无法创建数据库实例。 变更规格失败 NoSQLResizeInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试规格变更操作。 业务中断。 添加节点失败 NoSQLAddNodesFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,删除添加失败的节点,重新尝试添加新节点。 无 删除节点失败 NoSQLDeleteNodesFailed 重要 一般是由于底层释放资源失败导致。 重新尝试删除节点。 无 扩卷失败 NoSQLScaleUpStorageFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试扩卷操作。 如果磁盘满,会导致业务中断。 重置密码失败 NoSQLResetPasswordFailed 重要 一般是由于重置密码命令超时导致。 重新尝试重置密码操作。 无 修改参数组失败 NoSQLUpdateInstanceParamGroupFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 设置备份策略失败 NoSQLSetBackupPolicyFailed 重要 一般是由于数据库连接异常导致。 重新重试设置备份策略操作。 无 创建手动备份失败 NoSQLCreateManualBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 创建自动备份失败 NoSQLCreateAutomatedBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 实例运行状态异常 NoSQLFaultyDBInstance 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 NoSQLDBInstanceRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要 针对灾难性的故障,NoSQL有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 实例主备切换 NoSQLPrimaryStandbySwitched 重要 在手动触发的主备倒换或节点故障自动触发的故障倒换场景下,会上报该事件。 不需要处理。 无 出现热点分区键 HotKeyOccurs 重要 客观上是因为主键设置不合理,使得热点数据集中分布在一个分区。客户端不合理的应用程序设计,造成对某一key的频繁读写。 1. 选择合理的分区键。 2. 业务增加缓存,业务应用先从缓存中读取热点数据。 影响业务请求成功率,存在影响集群性能及稳定性的风险。 出现超大分区键 BigKeyOccurs 重要 主键设计不合理,单个分区的记录数或数据量过大,引起了节点负载不均。 1. 选择合理的分区键 2. 基于现有分区键,增加分区键散列。 随着数据量增长,集群稳定性会下降。 数据盘空间不足 NoSQLRiskyDataDiskUsage 重要 数据盘空间不足,产生此告警。 请参见对应服务用户指南中“扩容磁盘”的内容,进行磁盘扩容。 实例被设为只读模式,数据无法写入。 数据盘空间已扩容并恢复可写 NoSQLDataDiskUsageRecovered 重要 数据盘空间已扩容并恢复可写,产生此事件。 无需处理。 无 创建索引失败 NoSQLCreateIndexFailed 重要 业务负载超过实例规格瓶颈,此时再创建索引会耗费更多实例资源,导致响应变慢甚至卡顿,最终超时,引起索引创建失败。 1、根据业务负载,选择匹配的实例规格 2、在业务低峰期创建索引 3、使用后台方式创建索引 4、索引字段,结合业务进行合理选择。 索引创建失败或不完整,导致索引无效,需要删掉索引重新创建。 发生写入降速 NoSQLStallingOccurs 重要 写入速度快,接近集群规模和实例规格范围允许最大写能力,从而触发数据库自身的限流机制,会发生请求失败情况 1. 根据业务的最大写请求速率,调整集群规模或者节点规格 2. 衡量业务的最大写请求速率,分散业务写峰值速率 影响业务的请求的成功率 发生写入停止 NoSQLStoppingOccurs 重要 写入速度过快,达到集群规模和实例规格范围允许最大写能力,从而触发数据库自身的限流机制,会发生请求失败情况 1. 根据业务的最大写请求速率,调整集群规模或者节点规格 2. 衡量业务的最大写请求速率,分散业务写峰值速率 影响业务的请求的成功率 重启数据库失败 NoSQLRestartDBFailed 重要 一般是由于实例状态异常等原因导致。 提交工单让运维处理。 数据库实例状态可能存在异常。 恢复到新实例失败 NoSQLRestoreToNewInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,重新尝试添加新节点。 无法恢复到新的数据库实例。 恢复到已有实例失败 NoSQLRestoreToExistInstanceFailed 重要 一般是由于备份文件下载或恢复失败等原因导致。 提交工单让运维处理。 当前数据库实例可能处于不可用状态。 删除备份文件失败 NoSQLDeleteBackupFailed 重要 一般是由于备份文件从obs删除失败导致。 重新尝试删除备份文件。 无 切换慢日志明文开关失败 NoSQLSwitchSlowlogPlainTextFailed 重要 一般是由于引擎不支持切换等原因导致。 请查阅NoSQL用户指南,确认引擎支持打开慢日志明文开关。提交工单让运维处理。 无 绑定EIP失败 NoSQLBindEipFailed 重要 一般是由于节点状态不正常,节点已经绑定EIP或EIP非法等原因导致。 检查节点是否正常,EIP是否合法。 无法通过公网访问数据库实例。 解绑EIP失败 NoSQLUnbindEipFailed 重要 一般是由于节点状态不正常,节点已经未绑定EIP等原因导致。 检查节点和EIP状态是否正常。 无 修改参数失败 NoSQLModifyParameterFailed 重要 一般是由于参数取值非法等原因导致。 排查参数值是否符合在合法范围内,提交工单让运维处理。 无 参数组应用失败 NoSQLApplyParameterGroupFailed 重要 一般是由于实例状态异常导致参数组无法应用等原因导致。 提交工单让运维处理。 无 开启或关闭SSL失败 NoSQLSwitchSSLFailed 重要 一般是由于修改SSL命令超时导致。 重新提交一次或者提交工单处理,并先保持切换之前使用SSL的连接方式。 是否使用SSL连接。 单行数据量太大 LargeRowOccurs 重要 用户单行数据量过大,可能会导致查询超时,进而节点OOM异常退出等各种故障发生。 1. 对每列和每行的写入长度做限制,遵从规范,使得单行的的key和value长度和不超过阈值。 2. 排查业务是否出现异常写入和异常编码,导致写入大row。 过大的单行记录,随着数据量增长,集群稳定性会下降。 用户计划删除KMS密钥 NoSQLplanDeleteKmsKey 重要 一般是由于用户计划删除kms的key导致。 计划删除kms的key后,及时恢复kms的key或者及时解密数据。 kms的key被删除后用户无法进行磁盘加密。 查询墓碑数过多 TooManyQueryTombstones 重要 查询墓碑数过多,可能会导致查询超时,影响查询性能。 使用合理的查询删除方式,避免大批次的范围查询 可能会导致查询超时,影响查询性能。 超大集合列 TooLargeCollectionColumn 重要 当集合列元素个数太多时,会出现集合列查询失败。 对集合列的元素个数做限制,遵从规范不超过阈值。 排查业务是否出现异常写入和异常编码,导致写入大集合列。 会出现集合列查询失败。 表11 云数据库GaussDB(for MySQL) 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GaussDB(for MySQL) 实例增量备份业务失败 TaurusIncrementalBackupInstanceFailed 重要 实例增量备份失败产生的事件,一般是管理节点到实例网络或者实例到OBS存储的网络异常,或者实例备份环境异常。 提交工单。 无法完成实例备份业务操作。 添加只读节点失败 addReadonlyNodesFailed 重要 创建实例只读节点失败产生的事件,一般是底层资源耗尽导致。 检查并释放资源后重新创建。 无法创建数据库实例只读节点。 创建实例业务失败 createInstanceFailed 重要 创建实例失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 检查配额大小,释放资源后重新创建。 无法创建数据库实例。 主备切换异常 activeStandBySwitchFailed 重要 主备切换异常主要是由于网络、物理机有某种故障导致只读节点没有接管主节点的业务,短时间内会恢复到原主节点继续提供服务。 提交工单。 无法完成主备切换(只读升主)。 规格变更业务失败 flavorAlterationFailed 重要 规格变更失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 提交工单。 无法完成规格变更。 实例运行状态异常 TaurusInstanceRunningStatusAbnormal 重要 实例运行状态异常产生的事件,可能原因是实例进程故障,或者实例到DFV存储间通信问题。 提交工单。 实例异常,业务可能受损。 实例运行状态异常已恢复 TaurusInstanceRunningStatusRecovered 重要 实例运行状态异常后恢复产生的事件。 观察业务运行情况。 无。 节点运行状态异常 TaurusNodeRunningStatusAbnormal 重要 运行节点状态异常产生的事件,可能原因是节点进程故障,或者节点到DFV存储间通信问题。 观察实例状态和业务运行情况。 节点异常,可能触发只读升主。 节点运行状态异常已恢复 TaurusNodeRunningStatusRecovered 重要 节点运行状态异常后恢复产生的事件。 观察业务情况。 无。 删除只读节点失败 TaurusDeleteReadOnlyNodeFailed 重要 删除只读节点失败产生的事件,可能原因是管理面到实例节点通信异常或者请求IaaS删除虚机失败。 提交工单。 无法完成删除只读节点操作。 实例重置密码失败 TaurusResetInstancePasswordFailed 重要 实例重置密码失败产生的事件,可能原因是管理面到实例通信异常或者实例状态异常件。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例重置密码操作。 实例重启失败 TaurusRestartInstanceFailed 重要 实例重启失败产生的事件,可能原因是管理面到实例通信异常或者实例状态异常件。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例重启操作。 恢复到新实例失败 TaurusRestoreToNewInstanceFailed 重要 恢复到新实例失败产生的事件,一般是新创建实例配额大小不足,底层资源耗尽导致或者数据恢复逻辑出错。 如果是新创建实例失败,检查配额大小,释放资源后重新恢复到新实例,其他情况提交工单。 无法完成恢复到新实例。 实例绑定EIP失败 TaurusBindEIPToInstanceFailed 重要 实例绑定EIP失败产生的事件,绑定任务执行错误。 提交工单。 无法完成绑定EIP操作。 实例解绑EIP失败 TaurusUnbindEIPFromInstanceFailed 重要 实例解绑EIP失败产生的事件,绑定任务执行错误。 提交工单。 无法完成解绑EIP操作。 实例修改参数失败 TaurusUpdateInstanceParameterFailed 重要 实例修改参数失败产生的事件,一般是管理节点到实例网络异常,或者实例状态异常。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例修改参数操作。 实例参数组应用失败 TaurusApplyParameterGroupToInstanceFailed 重要 实例参数组应用失败产生的事件,一般是管理节点到实例网络异常,或者实例状态异常。 检查确认实例状态后重试,未解决则提交工单。 无法完成实例参数组应用操作。 实例全量备份业务失败 TaurusBackupInstanceFailed 重要 实例全量备份失败产生的事件,一般是管理节点到实例网络或者实例到OBS存储的网络异常,或者实例备份环境异常。 提交工单。 无法完成实例备份业务操作。 实例发生主备倒换 TaurusActiveStandbySwitched 重要 实例发生主备倒换,主要是由于主节点的网络,物理机以及数据库运行出现故障时,GaussDB HA系统会按照倒换优先级将1个只读节点升为主机,以持续提供服务。 收到事件后,查看业务运行是否正常。 看是否继续收到“实例只读升主业务失败”告警。 倒换时业务连接会短时间中断,升主完成后可重新连接数据库。 数据库设置为只读模式 NodeReadonlyMode 重要 数据库设置为只读状态,只支持查询类操作。 提交工单。 数据库设置只读状态后,所有写业务返回失败。 数据库设置为读写模式 NodeReadWriteMode 重要 数据库设置为读写状态 提交工单。 无 实例容灾切换 DisasterSwitchOver 重要 实例故障不可用,通过主备切换保证数据库继续对外提供服务。 联系技术支持团队处理。 访问数据库的业务出现闪断,高可用服务通过切换机制保证新机器升主继续对外提供服务。 数据库进程重新启动 TaurusDatabaseProcessRestarted 重要 一般是内存不足、负载过高导致数据库进程停止。 通过云监控的数据,查看是否有内存飙升、CPU长期过高等的情况,可以选择提升CPU内存规格或者优化业务逻辑。 数据库进程挂掉的时候,该节点业务中断。高可用服务会自动拉起进程,尝试恢复业务。 表12 云数据库GaussDB 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GaussDB 进程状态告警 ProcessStatusAlarm 重要 GaussDB关键进程退出,包括:CMS/CMA、ETCD、GTM、CN、DN。 等待进程自动恢复或者自动主备切换,观察业务是否恢复。如果业务未恢复,联系SRE。 主机进程故障,在主机上进行的业务将中断回滚。备机进程故障不影响业务。 组件状态告警 ComponentStatusAlarm 重要 GaussDB关键组件无响应,包括:CMA、ETCD、GTM、CN、DN。 等待进程自动恢复或者自动主备切换,观察业务是否恢复。如果业务未恢复,联系SRE。 主机进程无响应,在主机上进行的业务将无响应。备机进程故障不影响业务。 集群状态告警 ClusterStatusAlarm 重要 集群状态异常,包括: 集群只读、ETCD多数派故障、集群分布不均衡。 联系SRE。 集群只读: 业务只读。 ETCD多数派故障:集群不可用。 集群分布不均衡:集群性能/可靠性降低。 硬件资源告警 HardwareResourceAlarm 重要 集群中出现严重的硬件故障,包括:磁盘损坏、GTM网络通信故障。 联系SRE。 业务部分/全部受损。 状态转换告警 StateTransitionAlarm 重要 集群出现如下重要事件:DN build/build失败、DN强切、DN主备切换/failover、GTM主备切换/failover。 等待自动恢复,观察业务是否恢复。如果业务未恢复,联系SRE。 部分业务受损。 其他异常告警 OtherAbnormalAlarm 重要 磁盘使用阈值告警等。 关注业务变化,及时计划扩容。 超过使用阈值,将无法扩容。 实例运行状态异常 TaurusInstanceRunningStatusAbnormal 重要 由于灾难或者物理机故障导致实例故障时,会上报该事件,属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 TaurusInstanceRunningStatusRecovered 重要 针对灾难性的故障,GaussDB有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 TaurusNodeRunningStatusAbnormal 重要 由于灾难或者物理机故障导致数据库节点故障时,会上报该事件,属于关键告警事件。 检查数据库服务是否可以正常使用,并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 TaurusNodeRunningStatusRecovered 重要 针对灾难性的故障,GaussDB有高可用工具会自动进行恢复或者手动恢复,执行完成后会上报该事件。 不需要处理。 无 创建实例业务失败 GaussDBV5CreateInstanceFailed 重要 创建实例失败产生的事件,一般是配额大小不足,底层资源耗尽导致。 先释放不再使用的实例再尝试重新发放,或者提交工单调整配额上限。 无法创建数据库实例。 添加节点失败 GaussDBV5ExpandClusterFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源,删除添加失败的节点,重新尝试添加新节点。 无 存储扩容失败 GaussDBV5EnlargeVolumeFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试扩容操作。 如果磁盘满,会导致业务中断。 重启失败 GaussDBV5RestartInstanceFailed 重要 一般是由于网络问题等原因导致 重试重启操作或提交工单让运维处理。 可能导致数据库服务不可用。 全量备份失败 GaussDBV5FullBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 差量备份失败 GaussDBV5DifferentialBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 删除备份失败 GaussDBV5DeleteBackupFailed 重要 无需实现。 - - 绑定EIP失败 GaussDBV5BindEIPFailed 重要 弹性公网IP已被占用或IP资源等原因导致。 提交工单让运维处理。 导致实例无法使用公网链接或访问 解绑EIP失败 GaussDBV5UnbindEIPFailed 重要 网络故障或公网EIP服务故障等原因导致。 重新解绑Ip或提交工单让运维处理。 可能导致IP资源残留 参数组应用失败 GaussDBV5ApplyParamFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 参数修改失败 GaussDBV5UpdateInstanceParamGroupFailed 重要 一般是由于修改参数组命令超时导致。 重新尝试修改参数组操作。 无 备份恢复失败 GaussDBV5RestoreFromBcakupFailed 重要 一般是由底层资源不足或备份文件下载失败等原因导致 提交工单。 可能导致在恢复失败期间数据库服务不可用 升级热补丁失败 GaussDBV5UpgradeHotfixFailed 重要 一般是内核升级时报错导致。 查看工作流报错信息,重做跳过等。 无 表13 分布式数据库中间件 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DDM 创建实例失败 createDdmInstanceFailed 重要 一般是由于底层资源不足等原因导致。 释放资源后重新创建。 无法创建DDM实例。 变更规格失败 resizeFlavorFailed 重要 一般是由于底层资源不足等原因导致。 请工单联系运维在后台协调资源再重试规格变更操作。 部分节点业务中断 节点扩容失败 enlargeNodeFailed 重要 一般是由于底层资源不足等原因导致。 请工单联系运维后台协调资源,删除添加失败的节点,重新尝试添加节点 节点扩容失败 节点缩容失败 reduceNodeFailed 重要 一般是由于底层释放资源失败等原因导致。 请工单联系运维后台处理资源。 节点缩容失败 重启实例失败 restartInstanceFailed 重要 一般是由于底层关联数据库实例异常等原因导致。 建议先排查底层数据库实例是否异常,如果无异常请工单联系运维进行排查。 部分节点业务中断 创建逻辑库失败 createLogicDbFailed 重要 一般是由于以下几种原因导致的: 1、数据库实例账号密码错误;2、DDM实例与底层数据库实例安全组设置错误,导致无法通信。 请排查: 1、数据库实例账号密码是否错误;2、DDM实例与底层数据库实例安全组是否设置正确等问题。 业务无法正常运行 绑定弹性公网IP失败 bindEipFailed 重要 一般是由于EIP服务繁忙。 稍后重试,紧急情况下请联系运维排查问题。 无法通过公网访问服务 逻辑库扩容失败 migrateLogicDbFailed 重要 一般是由于底层处理失败。 请工单联系运维处理。 无法实现逻辑库扩容 逻辑库扩容重试失败 retryMigrateLogicDbFailed 重要 一般是由于底层处理失败。 请工单联系运维处理。 无法实现逻辑库扩容 表14 云手机服务器 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CPH 主机关机 cphServerOsShutdown 重要 云手机服务器关机。包括: 在管理控制台进行关机操作 通过API接口下发关机指令 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 异常关机 cphServerShutdown 重要 云手机服务器异常关机。包括: 云手机服务器异常下电 云手机服务器硬件故障导致关机 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 主机重启 cphServerOsReboot 重要 云手机服务器重启。包括: 在管理控制台进行重启操作 通过API接口下发重启指令 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断 异常重启 cphServerReboot 重要 云手机服务器异常重启。包括: 操作系统异常导致重启 云手机服务器硬件故障导致重启 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 网络中断 cphServerlinkDown 重要 云手机服务器网络中断。包括: 云手机服务器异常关机、重启 交换机故障引起的网络中断 网关节点故障引起的中断 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 业务中断。 PCIE异常 cphServerPcieError 重要 云手机服务器PCIe设备硬件故障。包括: 主板故障 PCIe设备故障 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 影响网络或硬盘读写业务 硬盘故障 cphServerDiskError 重要 云手机服务器磁盘故障。包括: 硬盘背板故障 硬盘本身故障 业务应用做成高可用。 云手机服务器恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 云存储连接异常 cphServerStorageError 重要 云手机服务器云硬盘链接异常。包括: SDI卡故障 远端存储故障 业务应用做成高可用。 主机恢复后,确认业务是否自动恢复。 影响数据读写业务或主机无法启动 显卡掉线 cphServerGpuOffline 重要 云手机服务器GPU显卡松动掉线 云手机服务器进行一次关机、开机操作 显卡掉线涉及的云手机出现运行故障,重启重置手机无法恢复 显卡TimeOut cphServerGpuTimeOut 重要 云手机服务器GPU显卡TimeOut 重启云手机服务器 显卡Timeout涉及的云手机出现运行故障,重启重置手机无法恢复 磁盘空间满 cphServerDiskFull 重要 云手机服务器磁盘空间满 客户需要清理云手机里的业务数据,释放空间 云手机亚健康,容易出现故障无法启动 磁盘变只读 cphServerDiskReadOnly 重要 云手机服务器磁盘变成只读 重启云手机服务器 云手机亚健康,容易出现故障无法启动 云手机元数据损坏 cphPhoneMetaDataDamage 重要 云手机的容器元数据损坏 联系运维处理 云手机重启重置无法恢复 GPU故障 gpuAbnormal 致命 GPU发生故障 提交工单转运维处理 业务中断 GPU恢复正常 gpuNormal 提示 GPU从故障中恢复正常 无需处理 无 内核崩溃 kernelCrash 致命 内核崩溃crash 提交工单转运维处理 crash期间业务中断 内核OOM kernelOom 重要 内核日志提示out of memory 提交工单转运维处理 业务中断 硬件故障 hardwareError 致命 内核日志报Hardware Error 提交工单转运维处理 业务中断 PCIE故障 pcieAer 致命 内核日志报PCIE Bus Error 提交工单转运维处理 业务中断 SCSI故障 scsiError 致命 内核日志报SCSI error 提交工单转运维处理 业务中断 镜像存储只读故障 partReadOnly 致命 镜像存储分区挂载属性变为readonly 提交工单转运维处理 业务中断 镜像存储超级块损坏故障 badSuperBlock 致命 镜像存储分区相关文件系统超级块损坏 提交工单转运维处理 业务中断 镜像存储sharedpath只读故障 isuladMasterReadOnly 致命 镜像存储的/.sharedpath/master挂载属性只读 提交工单转运维处理 业务中断 云手机数据盘只读故障 cphDiskReadOnly 致命 云手机数据盘挂载属性变为readonly 提交工单转运维处理 业务中断 云手机数据盘超级块损坏故障 cphDiskBadSuperBlock 致命 云手机数据盘相关文件系统超级块损坏 提交工单转运维处理 业务中断 表15 二层连接网关 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 L2CG IP地址冲突 IPConflict 重要 一般是由于线上(本端子网)与线下(远端网段)存在相关IP地址的主机导致。 通过查看ARP、交换机信息等措施,排查出具体IP冲突的主机,根据业务场景调整IP避免冲突。 可能导致冲突IP相关网络通信异常。 表16 弹性公网IP和带宽 事件来源 事件名称 事件ID 事件级别 弹性公网IP和带宽 删除VPC deleteVpc 重要 修改VPC modifyVpc 次要 删除Subnet deleteSubnet 次要 修改Subnet modifySubnet 次要 修改带宽 modifyBandwidth 次要 删除VPN deleteVpn 重要 修改VPN modifyVpn 次要 表17 云硬盘 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EVS 更新磁盘 updateVolume 次要 更新一个云硬盘的名称和描述。 无需处理。 无。 扩容磁盘 extendVolume 次要 对云硬盘进行扩容。 无需处理。 无。 删除磁盘 deleteVolume 重要 删除一个云硬盘。 无需处理。 删除的磁盘将不能被恢复。 磁盘性能达到QoS上限 reachQoS 重要 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大。 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大,意味该类型的磁盘可能无法满足当前业务需求,建议提升磁盘规格。 磁盘性能频繁达到该规格的QoS上限,从而触发流控,导致IO访问时延变大,意味该类型的磁盘可能无法满足当前业务需求,建议提升磁盘规格 表18 统一身份认证服务 事件来源 事件名称 事件ID 事件级别 IAM 用户登录 login 次要 用户登出 logout 次要 登录重置密码 changePassword 重要 创建用户 createUser 次要 删除用户 deleteUser 重要 修改用户 updateUser 次要 创建用户组 createUserGroup 次要 删除用户组 deleteUserGroup 重要 修改用户组 updateUserGroup 次要 创建idp createIdentityProvider 次要 删除idp deleteIdentityProvider 重要 修改idp updateIdentityProvider 次要 更新metadata updateMetadata 次要 更新账号登录策略 updateSecurityPolicies 重要 创建AK/SK addCredential 重要 删除AK/SK deleteCredential 重要 创建project createProject 次要 更新project updateProject 次要 冻结项目 suspendProject 重要 表19 密钥管理服务 事件来源 事件名称 事件ID 事件级别 KMS 禁用密钥 disableKey 重要 计划删除密钥 scheduleKeyDeletion 次要 退役授权 retireGrant 重要 撤销授权 revokeGrant 重要 表20 对象存储服务 事件来源 事件名称 事件ID 事件级别 OBS 删除桶 deleteBucket 重要 删除桶policy配置 deleteBucketPolicy 重要 设置桶的ACL setBucketAcl 次要 设置桶的策略 setBucketPolicy 次要 表21 云监控 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 Cloud Eye 插件故障事件 agentHeartbeatInterrupted 重要 监控插件每1分钟发送1次心跳;当服务端3分钟收不到插件心跳时,“插件状态”显示为“故障”。 查看Agent域名是否无法解析。 查看账号是否欠费。 Agent进程故障,先尝试重启Agent如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 查看服务器内部时间和本地标准时间不一致。 使用的DNS非华为云DNS,请通过执行dig+目标域名获取到agent.ces.myhuaweicloud.com在华为云内网DNS下解析到的IP后再添加对应的hosts。 请将Agent更新为最新版本。 插件已恢复 agentResumed 提示 客户端插件已恢复运行。 不需要处理。 插件已故障 agentFaulty 重要 客户端插件运行故障,上报对应状态。 Agent进程故障,先尝试重启Agent。如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 请将Agent更新为最新版本。 插件已断联 agentDisconnected 重要 监控插件每1分钟发送1次心跳;当服务端3分钟收不到插件心跳时,“插件状态”显示为“故障”。 查看Agent域名是否无法解析。 查看账号是否欠费。 Agent进程故障,先尝试重启Agent。如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent。 查看服务器内部时间和本地标准时间不一致。 使用的DNS非华为云DNS,请通过执行dig+目标域名获取到agent.ces.myhuaweicloud.com在华为云内网DNS下解析到的IP后再添加对应的hosts。请将Agent更新为最新版本。 表22 数据空间服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Data Space 新增修订版本 newRevision 次要 数据产品发布了新的修订版本。 收到事件通知后根据需要导出新的修订版本数据。 无。 表23 企业交换机 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ESW IP地址冲突 IPConflict 重要 L2互联场景:一般是由于线上(本端子网)与线下(远端网段)存在相关IP地址的主机导致。 通过查看ARP、交换机信息等措施,排查出具体IP冲突的主机,根据业务场景调整IP避免冲突。 可能导致冲突IP相关网络通信异常。 表24 凭据管理服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CSMS 操作待删除凭据 operateDeletedSecret 重要 用户调用接口操作计划删除状态凭据。 用户可以考虑取消删除该凭据。 到期删除的凭据无法恢复。 表25 分布式缓存服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DCS 在线迁移发生全量重试 migrationFullResync 次要 在线迁移在重试时,因无法进行增量同步,而触发了全量同步。 确认是否发生反复的全量重试,需要检查到源端的网络连接是否正常,是否源端压力过大。如果反复全量重试,联系运维人员处理。 迁移任务与源实例发生中断,重新触发了全量同步,可能导致源实例CPU冲高。 实例主备切换(故障切换) masterStandbyFailover 次要 Redis主节点异常,触发主从倒换机制,备节点升主。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 Memcached主从倒换 memcachedMasterStandbyFailover 次要 Memcached主节点异常,触发主从倒换机制,备节点升主。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 Redis节点状态异常 redisNodeStatusAbnormal 重要 Redis节点状态异常。 检查业务是否受影响 ,如果影响联系运维人员处理。 节点状态异常,主节点异常会自动主备切换。从节点异常,如果客户端直连从节点进行读写分离,读操作会出现异常。 Redis节点状态恢复正常 redisNodeStatusNormal 重要 Redis节点从异常恢复正常。 检查业务是否恢复。如果应用未重连,需要重启应用进行恢复。 异常恢复事件。 数据迁移同步失败 migrateSyncDataFail 重要 执行在线迁移任务时,迁移任务失败。 重新配置迁移任务重试迁移。如果仍然失败,联系运维人员处理。 数据迁移失败。 Memcached实例状态异常 memcachedInstanceStatusAbnormal 重要 Memcached节点状态异常。 检查业务是否受影响 ,如果影响联系运维人员处理。 Memcached实例状态异常,实例可能无法访问。 Memcached实例状态异常恢复 memcachedInstanceStatusNormal 重要 Memcached节点从异常恢复正常。 检查业务是否恢复。如果应用未重连,需要重启应用进行恢复。 异常恢复事件。 实例备份失败 instanceBackupFailure 重要 DCS实例备份失败,一般可能是由于访问OBS失败等原因导致。 手动备份进行重试。 自动备份失败。 实例节点异常重启 instanceNodeAbnormalRestart 重要 一般是由于DCS实例节点异常后重启导致。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 终止超时lua脚本 scriptsStopped 提醒 一般是由于lua脚本运行时间过长,自动终止脚本运行。 优化lua脚本,防止执行超时。 lua脚本执行时间超长,被强制中断。lua脚本执行时间过长,会阻塞整个实例。 节点自动重启 nodeRestarted 提醒 一般是由于lua脚本运行时间过长,并且已执行写操作,自动重启节点终止脚本运行。 检查业务是否自愈。如果应用未恢复,需要重启应用进行恢复。 实例长连接会中断。 表26 智能云接入 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 ICA BGP peer连接中断 BgpPeerDisconnection 重要 BGP peer连接中断 登录网关设备,排查bgp peer断连原因 业务流量有可能会中断 BGP peer连接成功 BgpPeerConnectionSuccess 重要 BGP peer连接成功 无 无 GRE隧道状态异常 AbnormalGreTunnelStatus 重要 GRE隧道状态异常 登录网关设备,排查gre隧道状态异常原因 业务流量有可能会中断 GRE隧道状态正常 NormalGreTunnelStatus 重要 GRE隧道状态正常 无 无 设备wan口上线 EquipmentWanGoingOnline 重要 设备wan口上线 无 无 设备wan口下线 EquipmentWanGoingOffline 重要 设备wan口下线 检查是否为人为操作或设备故障 设备无法正常使用 智能企业网关设备上线 IntelligentEnterpriseGatewayGoingOnline 重要 智能企业网关设备上线 无 无 智能企业网关设备下线 IntelligentEnterpriseGatewayGoingOffline 重要 智能企业网关设备下线 检查是否为人为操作或设备故障 设备无法正常使用 表27 多活高可用服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 MAS 数据库状态异常 dbError 重要 一般是由于MAS监控到用户数据库实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 数据库状态恢复 dbRecovery 重要 数据库实例状态从异常恢复正常。 无。 业务中断 Redis状态异常 redisError 重要 一般是由于MAS监控到用户Redis实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 Redis状态恢复 redisRecovery 重要 Redis实例状态从异常恢复正常。 无。 业务中断 MongoDB状态异常 mongodbError 重要 一般是由于MAS监控到用户MongoDB实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 MongoDB状态恢复 mongodbRecovery 重要 API状态从异常恢复正常。 无。 业务中断 Elasticsearch状态异常 esError 重要 一般是由于MAS监控到用户ElasticSearch实例状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 Elasticsearch状态恢复 esRecovery 重要 ElasticSearch实例状态从异常恢复正常。 无。 业务中断 API接口状态异常 apiError 重要 一般是由于MAS监控到用户API状态导致的。 用户登录MAS控制台查看原因及处理异常。 业务中断 API接口状态恢复 apiRecovery 重要 API状态从异常恢复正常。 无。 业务中断 多活分区状态发生变化 netChange 重要 MAS服务多活管理中心探测到多活分区状态发生变化 用户登录MAS控制台查看原因及处理异常。 可能导致多活分区网络的状态改变。 表28 配置审计服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Config 配置不合规通知 configurationNoncomplianceNotification 重要 审计规则执行结果为不合规。 修改资源不合规的配置项,使其合规。 无。 配置合规通知 configurationComplianceNotification 提示 审计规则执行结果变为合规。 无。 无。 表29 安全云脑 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 SecMaster 独享引擎创建失败 createEngineFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试。 无法创建独享引擎。 独享引擎运行异常 engineException 紧急 一般是由于流量过大或者恶意流程,插件导致。 排查流程,插件执行是否占用资源过多 查看实例监控,短期内是否实例数量暴增。 无法执行实例。 剧本实例执行失败 playbookInstanceExecFailed 一般 一般是由于剧本,流程配置出错导致。 通过实例监控查看失败原因,修改剧本,流程配置。 无。 剧本实例突增 playbookInstanceIncreaseSharply 一般 一般是由于剧本,流程配置出错导致。 通过实例监控查看突增原因,修改剧本,流程配置。 无。 日志消息突增 logIncrease 重要 上游服务产生大量日志,导致消息快速增加。 需要排查上游服务业务是否正常。 无。 日志消息突减 logsDecrease 重要 上游服务产生日志突然变小。 需要排查上游服务业务是否正常 无。 表30 密钥对管理服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 KPS 删除密钥对 KPSDeleteKeypair 提示 成功删除密钥对,此操作不可逆。 当短时间内大量触发此事件时,要检查是否出现恶意删除的情况。 被删除密钥对无法恢复。 表31 企业主机安全服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 HSS 企业主机安全服务Agent异常离线 hssAgentAbnormalOffline 重要 一般是由于Agent与服务器通信异常,主机中的Agent进程异常等原因导致。 排查网络故障,待网络恢复正常后,若长时间Agent状态仍为“离线”,可能是Agent进程异常,需要登录主机,重启Agent进程。 业务中断。 企业主机安全服务Agent防护状态异常 hssAgentAbnormalProtection 重要 一般是由于底层资源不足造成Agent工作模式异常等原因导致。 登录主机检查资源,如发现内存或者其他系统资源过高等情况,建议优先扩容处理。如果资源够用,重启Agent进程后还是异常,提交工单让运维处理 业务中断。 表32 镜像服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 IMS 创建镜像 createImage 重要 用户创建私有镜像 无 镜像创建完成后,可使用该镜像创建云服务器。 更新镜像 updateImage 重要 用户更新私有镜像元数据 无 更新镜像关键元数据可能导致该镜像创建云服务器失败。 删除镜像 deleteImage 重要 用户删除私有镜像 无 不能使用该镜像创建云服务器。 表33 云存储网关 事件来源 事件名称 事件ID 事件级别 事件说明 CSG 网关进程状态异常 gatewayProcessStatusAbnormal 重要 当云存储网关进程状态异常时,则触发进程状态异常事件。 网关连接状态异常 gatewayToServiceConnectAbnormal 重要 当云存储网关连续5个周期无状态上报时,则触发连接异常事件。 网关与OBS连接状态异常 gatewayToObsConnectAbnormal 重要 当云存储网关无法连接到OBS时,则触发该事件。 文件系统只读 gatewayFileSystemReadOnly 重要 当云存储网关上的分区文件系统只读时,则触发该事件。 文件共享只读 gatewayFileShareReadOnly 重要 当文件共享因缓存盘存储空间不足,文件共享只读时,则触发该事件。 表34 全球加速 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 GA AIP封堵 blockAIP 紧急 带宽超过5GB就会封堵,相当于把流量直接丢弃。带宽严重超限或受到攻击,一般是受到了DDoS攻击。 查看事件中的封堵原因,进行相应处理。 业务受影响。 AIP解封 unblockAIP 紧急 AIP封堵已被解封。 查看加速资源是否可用。 无。 终端节点健康状态异常 healthCheckError 重要 通过健康检查探测终端节点状态异常。 根据终端节点的健康检查结果异常如何排查?文档排查原因,未解决则提交工单。 当健康检查探测到您的终端节点异常时,不再向异常的终端节点转发流量,直到健康检查检测到终端节点恢复正常时,才会继续转发流量。 表35 企业连接 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 EC 设备wan口上线 EquipmentWanGoesOnline 重要 设备wan口上线 无 无 设备wan口下线 EquipmentWanGoesOffline 重要 设备wan口下线 检查是否为人为操作或设备故障 设备无法正常使用 BGP peer连接中断 BgpPeerDisconnection 重要 BGP peer连接中断 检查是否为人为操作或设备故障 设备无法正常使用 BGP peer连接成功 BgpPeerConnectionSuccess 重要 BGP peer连接成功 无 无 GRE隧道状态异常 AbnormalGreTunnelStatus 重要 GRE隧道状态异常 检查是否为人为操作或设备故障 设备无法正常使用 GRE隧道状态正常 NormalGreTunnelStatus 重要 GRE隧道状态正常 无 无 智能企业网关设备上线 IntelligentEnterpriseGatewayGoesOnline 重要 智能企业网关设备上线 无 无 智能企业网关设备下线 IntelligentEnterpriseGatewayGoesOffline 重要 智能企业网关设备下线 检查是否为人为操作或设备故障 设备无法正常使用 表36 MapReduce服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 MRS DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用,导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理,业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用,读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用,导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用,导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用,导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问,部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面,确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志,确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志,确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM-45425 ClickHouse服务不可用”章节。 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM-27001 DBService服务不可用”章节。 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruptionBetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM-27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetweenActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM-27004 DBService主备数据不同步”章节。 主备DBServer数据不同步,如果此时主实例异常,则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM-27007 数据库进入只读模式”章节。 数据库进入只读模式,业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM-24000 Flume服务不可用”章节。 当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM-24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动,定义在该实例下的数据传输任务暂时中断,对于实时数据传输,会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM-24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM-24004 Flume读取数据异常”章节。 如果数据源有数据,Flume Source持续读取不到数据,数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM-24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM-24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM-24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效,对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM-24012 Flume证书文件已过期”章节。 Flume证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM-24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM-24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效,对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM-24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM-14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM-14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM-14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM-14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时,其数据就会与其他JournalNode节点的数据不同步。如果超过一半的JournalNode节点的数据不同步时,NameNode将无法工作,导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM-14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新,则说明HDFS元数据合并功能异常,需要修复。如不修复,HDFS在运行一段时间后,Editlog会一直增长。此时如果重启HDFS,由于要加载非常多的Editlog,会导致启动非常耗时。另外,该告警的产生也说明备NameNode功能异常,导致NameNode的HA机制失效。一旦主NameNode故障,则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM-14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时,表示该DataNode节点上存在故障的磁盘分区,可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM-18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM-18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM-18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM-18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内,该告警一直存在,但任务仍继续正常执行,没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM-18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务,如无法通过Mapreduce查看任务日志,无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM-18022 Yarn队列资源不足”章节。 应用任务结束时间变长。 新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM-19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM-19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM-16004 Hive服务不可用”章节。 Hive无法提供数据加载,查询,提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM-16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除,会导致在默认数据仓库中创建库、创建表失败,影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM-16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改,会影响当前用户,用户组,其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM-16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置,将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM-16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在,会影响Hive on Tez,Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM-20002 Hue服务不可用”章节。 系统无法提供数据加载,查询,提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM-29000 Impala服务不可用”章节。 Impala服务异常,无法通过FusionInsight Manager对Impala进行集群操作,无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM-38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务,用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM-38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常,会影响Broker之间的元数据同步,以及Kafka与ZooKeeper之间的交互,进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM-38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常,会导致该数据目录上所有Partition的当前副本下线,多个节点同时出现数据目录状态异常,可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM-38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险,当副本所在节点异常时,会直接导致Partition没有leader,影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM-25500 KrbServer服务不可用”章节。 告警发生时,不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM-29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM-25000 LdapServer服务不可用”章节。 告警发生时,不能对集群中的KrbServer和LdapServer用户进行任何操作。例如,无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色,也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM-25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时,有可能是Manager上的LdapServer数据损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM-25005 Nscd服务异常”章节。 nscd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM-25006 Sssd服务异常”章节。 sssd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到ldap中的数据,影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM-23001 Loader服务不可用”章节。 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM-17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM-45275 Ranger服务不可用”章节。 当Ranger服务不可用时,Ranger无法正常工作,Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM-45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时,不影响Ranger原生UI访问;当两个RangerAdmin状态异常时,Ranger原生UI无法访问,无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM-43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM-26051 Storm服务不可用”章节。 集群无法对外提供Storm服务,用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM-13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务,依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOfZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM-13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据,导致Zookeeper服务不可用。 表37 云证书管理 服务 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 CCM 吊销证书 CCMRevokeCertificate 重要 证书发起吊销,吊销后证书将不可使用 检查吊销证书是否在预期内,可以终止吊销行为。 证书吊销后,会导致业务中断。 自动部署证书失败 CCMAutoDeploymentFailure 重要 自动部署证书任务发生失败 及时关注并且检查被替换证书的服务资源是否正常。 证书过期后未部署新证书,会导致业务中断。 证书过期 CCMCertificateExpiration 重要 SSL证书过期 及时购买新证书。 证书过期后未部署新证书,会导致业务中断。 证书即将过期 CCMcertificateAboutToExpiration 重要 SSL证书即将过期,与当前时间相隔一周,一个月,两个月的证书定义为即将到期的证书 及时续费或者购买新证书。 证书过期后未部署新证书,会导致业务中断。 表38 云桌面 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 Workspace 桌面心跳异常 desktopStatusAbnormal 重要 一般是由于桌面网络不通、密钥丢失等原因。 重启桌面。 确认桌面时间是否与当前时间一致,否则手动调整桌面时间与当前时间一致。 确认桌面是否有安装特殊的安全软件或网络连通软件,如有安装,请卸载后重启或卸载后重新安装HDCAgent再重启。 桌面无法接入使用。 桌面池分配桌面失败 desktopPoolAssignFailed 重要 一般是由于策略等原因导致。 调整桌面池策略,确保桌面池中有空闲桌面或能自动创建桌面。 Linux桌面与纯数字用户分配失败,则请开启用户名前缀功能。 无法分配新的桌面。 桌面接入失败 desktopAccessFailed 重要 一般是由于关机重启、接入网关异常、网络故障等原因。 如有关机重启等电源操作,请等待一段时间后桌面状态正常时再次尝试接入。 确认网络环境,保证网络畅通的情况下重新接入。 桌面无法接入使用。 桌面开机失败 desktopStartFailed 重要 一般是由于底层资源不足等原因导致。 等待一段时间后尝试重新开机。 桌面无法接入使用。 桌面池自动扩容失败 desktopPoolExpandFailed 重要 一般是由于实例配额不足或底层资源不足等原因导致。 如果是配额不够了,优先申请扩大配额(桌面数,CPU,内存,VPC等)。 如果是底层资源不够了,请等待下一个扩容周期再查看。 如果不需要自动扩容桌面,请及时关闭桌面池自动扩容功能。 无法扩容新的桌面。 专属主机桌面迁移失败 desktopMigrateFailed 重要 一般是由于主机异常导致 请换其他的专属主机进行桌面迁移。 请联系技术人员排查并修复专属主机问题。 桌面可能无可用专属主机调度。 表39 数据库代理 事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBPROXY 数据库代理与数据库连通性异常 proxy_connection_failure_to_db 重要 数据库代理与主库建立新连接失败,与只读库可能存在建立新连接失败。一般是由于数据库/数据库代理压力过大,或代理与数据库间网络异常 观察数据库与数据库代理压力指标后(连接数、活跃连接数、CPU使用率)调整相应参数,压力指标正常情况下提工单处理 通过代理访问的业务流量中断 数据库代理与数据库只读库连通性异常 proxy_connection_failure_to_replica 一般 数据库代理与只读库建立新连接失败。一般是由于只读库压力过大,或代理与只读库间网络异常 观察只读库压力指标后(连接数、活跃连接数、CPU使用率)调整相应参数,压力指标正常情况下提工单处理 通过代理访问的业务读流量部分中断 数据库安全组未放通数据库代理地址 proxy_connection_failure_cause_security_group 重要 一般是由于数据库安全组未放通代理地址导致 修改数据库所使用安全组规则放通代理地址 通过代理访问的业务流量中断 父主题: 事件监控
-
配置应用 在“实例管理”界面,在华为云 区块链 引擎页签中,单击对应实例右上角的“下载配置文件”,配置SDK参数信息如下表1。 表1 参数表 参数名称 说明 证书存放路径 用户编译应用程序时,证书的最终存放路径。 如果证书路径需要变更,请手动修改SDK配置文件中所有证书相关路径,确保路径指向正确的位置。 组织 选择要下载配置的组织。 访问方式 默认标准通道。 证书选择 用户证书。 单击“下载”,将下载的配置文件压缩包放到证书存放路径下,进行解压。
-
操作步骤 进入购买Hyperledger Fabric增强版实例页面。 在订购页面填写企业项目、区块链实例名称(demo)和资源初始密码,其余采用默认参数,具体参数请参见基于CCE集群。 快速入门示例中,建议区块链实例名称设置为demo,则下载的SDK配置文件中对应的yaml文件名称为“demo-channel-sdk-config.yaml”。 若需要自定义区块链实例名称,例如设置为bcs123,则下载的SDK配置文件中对应的yaml文件名称为“bcs123-channel-sdk-config.yaml”,配置应用时需将yaml文件名称改为“demo-channel-sdk-config.yaml”。详细请参见调用链代码。 配置完成后,根据界面提示,购买Hyperledger Fabric增强版实例。 请等待数分钟,安装页面提示安装成功,查看实例及组织状态变为“正常”后,表示Hyperledger Fabric增强版实例部署完成。
-
操作步骤 进入购买华为云区块链引擎实例页面。 在订购页面填写区域、区块链实例名称和版本类型,其余采用默认参数。 以下截图示例仅供参考,用户可按照实际情况设置。 设置区域:华为-北京四,区块链实例名称:bcs-test,版本类型:专业版,其余采用默认参数。 单击“立即创建”进入配置确认页面,确认信息无误后,勾选协议和免责声明,单击“提交”。 进入支付页面,确认订单费用无误后,单击“确认付款”,订单支付成功后,即可返回区块链服务控制台查看正在创建的实例。 实例创建大概需要18-25分钟,请耐心等待。实例创建成功后,查看实例状态变为“正常”后,表示实例部署完成。
-
入门指引 区块链服务(Blockchain Service,简称 BCS )是华为云面向企业及开发者提供的区块链技术服务平台,它可以帮助您在华为云上快速部署、管理、维护区块链网络,降低您使用区块链的门槛,让您专注于自身业务的开发与创新,实现业务快速上链。 本文旨在帮助您了解区块链服务的基本使用流程,帮助您快速上手区块链服务。 区块链服务BCS 支持Hyperledger Fabric增强版和华为云区块链引擎实例: Hyperledger Fabric增强版:以Hyperledger Fabric 为内核,基于华为云全栈可信能力,包括弹性服务器,企业级容器、安全和人工智能等服务,在保持无缝社区对接方式前提下,在可靠性、性能、隐私保护方面做了增强和提升,满足企业级和金融级业务要求。支持包周期和按需,版本规格多样化,支持商用。详细请参见版本规格说明。 华为云区块链引擎:以BCS自主研发区块链内核为底座,结合可信硬件,具有高安全、高性能、高可扩展、强隐私保护等特点,满足企业级和金融级的可信和协同要求。支持专业版、企业版和铂金版,详细请参见版本规格说明。 当前仅“华北-北京四”区域支持华为云区块链引擎实例。 BCS使用流程如图1所示。 图1 BCS使用流程 说明如下: 购买区块链 请先 注册华为账号 并开通华为云,然后完成实名认证后,购买区块链服务。 安装和实例化链代码 区块链购买后,需要安装和实例化链代码。 调用链代码 下载SDK到业务应用,通过SDK调用链代码。
-
AK/SK认证 AK/SK签名认证方式仅支持消息体大小在12MB以内,12MB以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):私有访问密钥。与访问密钥ID结合使用,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。
-
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择domain,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "domain": { "name": "xxxxxxxx" } } } } 获取Token 后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 1 2 3 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。
-
请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 身份认证信息 最小长度:1 最大长度:16384 表2 请求Body参数 参数 是否必选 参数类型 描述 metadata 是 CreateRuleObjectMeta object 基本信息,为集合类的元素类型,包含一组由不同名称定义的属性。 spec 是 RuleSpec object spec是集合类的元素类型,您对需要管理的对象进行详细描述的主体部分都在spec中给出。UCS通过spec的描述来创建或更新对象。 表3 CreateRuleObjectMeta 参数 是否必选 参数类型 描述 name 是 String 权限策略名称 最小长度:1 最大长度:63 表4 RuleSpec 参数 是否必选 参数类型 描述 iamuserids 否 Array of strings 权限策略关联的IAM用户信息 type 否 String 权限策略类型,只允许四种类型:readonly/develop/admin/custom contents 否 Array of Content objects 权限策略内容 description 否 String 权限策略描述信息 最小长度:0 最大长度:255 表5 Content 参数 是否必选 参数类型 描述 verbs 否 Array of strings 动作列表 resources 否 Array of strings 资源列表
-
响应示例 状态码: 200 集群的信息,例如状态信息、集群与karmada控制面的同步模式等 { "kind" : "Cluster", "apiVersion" : "v1", "metadata" : { "name" : "test-cluster", "uid" : "b0d1ecb5-7947-11ee-9467-0255ac1001bf", "creationTimestamp" : "2023-11-02T06:36:14Z", "labels" : { "FeatureGates" : "elbv3,SupportClientCertificateRevocation,xGPU" }, "annotations" : { "vpcId" : "11c9fe72-5a90-4295-bcfe-774726fb9066" } }, "spec" : { "syncMode" : "", "clusterGroupID" : "bffbb35b-7949-11ee-886c-0255ac100037", "manageType" : "grouped", "provider" : "huaweicloud", "type" : "cce", "category" : "self", "region" : "cn-north-4", "country" : "CN", "city" : "150900", "projectID" : "b6315dd3d0ff4be5b31a963256794989", "projectName" : "cn-north-4", "IsDownloadedCert" : false, "operatorNamespace" : "2cd7ebd02e4743eba4e6342c09e49344" }, "status" : { "kubernetesVersion" : "v1.25", "conditions" : [ { "type" : "Ready", "status" : "True", "lastTransitionTime" : "2023-11-27T11:05:09+08:00", "reason" : "ClusterAvailable" }, { "type" : "Cluster", "status" : "Available", "lastTransitionTime" : "2023-11-27T11:05:09+08:00", "reason" : "ClusterAvailable" }, { "type" : "Federation", "status" : "Federalized", "lastTransitionTime" : "2023-11-14T14:31:58.744215+08:00" } ], "endpoints" : [ { "url" : "https://192.168.1.251:5443", "type" : "Internal" } ], "phase" : "Available", "arrearFreeze" : "false", "policeFreeze" : "false" } }
-
URI GET /v1/permissions/rules 表1 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 分页获取列表时,页的大小,默认为-1 offset 否 Integer 分页获取列表时,起始偏移量,默认为0 order_by 否 String 分页获取列表时,排序参数,支持 create_at 和 update_at order 否 String 分页获取列表时,排序方向,支持 desc 和 asc
-
响应示例 状态码: 200 权限策略列表 { "items" : [ { "metadata" : { "name" : "admin", "uid" : "3dcdef78-65bb-11ee-bdf2-0255ac100033", "creationTimestamp" : "2023-10-08 09:15:36.526016 +0000 UTC", "updateTimestamp" : "2023-10-08 09:15:36.526016 +0000 UTC" }, "spec" : { "iamUserIDs" : [ "873395a21c8d4d8ba9e37d6d32debc41" ], "type" : "admin", "contents" : [ { "verbs" : [ "*" ], "resources" : [ "*" ] } ] } } ], "total" : 1 }
-
响应示例 状态码: 200 容器舰队对象 { "kind" : "ClusterGroup", "apiVersion" : "v1", "metadata" : { "name" : "cluster-test", "uid" : "bffbb35b-7949-11ee-886c-0255ac100037", "creationTimestamp" : "2023-11-02 06:33:35.558128 +0000 UTC", "updateTimestamp" : "2023-11-14 06:20:20.446476 +0000 UTC" }, "spec" : { "federationId" : "e2f27cc6-82b5-11ee-84e3-0255ac100032", "federationVersion" : "v1.7.0-t1109", "dnsSuffix" : [ "www.oidc.com" ] }, "status" : { "conditions" : [ { "type" : "Federation", "status" : "Unavailable", "reason" : "FederationUnavailable", "message" : "component volcano-scheduler is unhealthy", "lastTransitionTime" : "0001-01-01T00:00:00Z" } ] } }
-
请求示例 更新权限策略 PUT https://ucs.myhuaweicloud.com/v1/permissions/{ruleid} { "spec" : { "iamUserIDs" : [ "978ff70ec1494a5680f6218faa3567d9", "5acdb44b47ba4bd79783ad40e5346783" ], "type" : "custom", "description" : "this is description" } }
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 身份认证信息 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 spec 否 RuleSpec object spec是集合类的元素类型,您对需要管理的对象进行详细描述的主体部分都在spec中给出。UCS通过spec的描述来创建或更新对象。 表4 RuleSpec 参数 是否必选 参数类型 描述 iamuserids 否 Array of strings 权限策略关联的IAM用户信息 type 否 String 权限策略类型,只允许四种类型:readonly/develop/admin/custom contents 否 Array of Content objects 权限策略内容 description 否 String 权限策略描述信息 最小长度:0 最大长度:255 表5 Content 参数 是否必选 参数类型 描述 verbs 否 Array of strings 动作列表 resources 否 Array of strings 资源列表
-
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 kind String API类型。 apiVersion String API版本,固定值“v1”,该值不可修改。 spec JobSpec object spec是集合类的元素类型,您对需要管理的对象进行详细描述的主体部分都在spec中给出。UCS通过spec的描述来创建或更新对象。 status JobStatus object 运行状态信息。集合类的元素类型,用于记录对象在系统中的当前状态信息。 表4 JobSpec 参数 参数类型 描述 type String Job类型 federationuid String 联邦uid resourceid String 资源id resourcename String 资源名字 extendparam String 扩展参数 subjobs Array of Job objects 子Job 表5 Job 参数 参数类型 描述 kind String API类型。 apiVersion String API版本,固定值“v1”,该值不可修改。 spec JobSpec object spec是集合类的元素类型,您对需要管理的对象进行详细描述的主体部分都在spec中给出。UCS通过spec的描述来创建或更新对象。 status JobStatus object 运行状态信息。集合类的元素类型,用于记录对象在系统中的当前状态信息。 表6 JobStatus 参数 参数类型 描述 phase String Job phase reason String Job reason completiontime String Job完成时间 starttime String Job开始时间
-
响应示例 状态码: 200 返回开启联邦对应的Job { "kind" : "Job", "apiVersion" : "v3", "metadata" : { "uid" : "70b5a14f-2fa4-11ee-bf07-0255ac1000b9", "creationTimestamp" : "2023-07-31 13:16:20.715779 +0000 UTC", "updateTimestamp" : "2023-07-31 13:17:24.497868 +0000 UTC", "annotations" : { "currentTimestamp" : "2023-07-31 13:17:24.933313136 +0000 UTC" } }, "spec" : { "type" : "CreateFederationContainer", "federationUID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4", "resourceID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4", "resourceName" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4", "subJobs" : [ { "kind" : "Job", "apiVersion" : "v3", "metadata" : { "uid" : "70b66b9a-2fa4-11ee-bf07-0255ac1000b9", "creationTimestamp" : "2023-07-31 13:16:20.740512 +0000 UTC", "updateTimestamp" : "2023-07-31 13:16:22.100528 +0000 UTC", "annotations" : { "currentTimestamp" : "2023-07-31 13:17:24.934274579 +0000 UTC" } }, "spec" : { "type" : "InstallFederationChart", "federationUID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4" }, "status" : { "phase" : "Success", "completionTime" : "2023-07-31 13:16:22.100528 +0000 UTC", "startTime" : "2023-07-31 13:16:22.100528 +0000 UTC" } }, { "kind" : "Job", "apiVersion" : "v3", "metadata" : { "uid" : "70b66b68-2fa4-11ee-bf07-0255ac1000b9", "creationTimestamp" : "2023-07-31 13:16:20.736232 +0000 UTC", "updateTimestamp" : "2023-07-31 13:17:24.490359 +0000 UTC", "annotations" : { "currentTimestamp" : "2023-07-31 13:17:24.934277116 +0000 UTC" } }, "spec" : { "type" : "CreateNetworkResource", "federationUID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4", "extendParam" : { "JobExtendParamKeyElbID" : "69694819-67dc-44ac-ab6e-9b18087c5c4c" } }, "status" : { "phase" : "Success", "completionTime" : "2023-07-31 13:17:24.490359 +0000 UTC", "startTime" : "2023-07-31 13:16:20.744891 +0000 UTC" } }, { "kind" : "Job", "apiVersion" : "v3", "metadata" : { "uid" : "70b66afa-2fa4-11ee-bf07-0255ac1000b9", "creationTimestamp" : "2023-07-31 13:16:20.731295 +0000 UTC", "updateTimestamp" : "2023-07-31 13:16:22.100452 +0000 UTC", "annotations" : { "currentTimestamp" : "2023-07-31 13:17:24.934288685 +0000 UTC" } }, "spec" : { "type" : "CreateCert", "federationUID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4" }, "status" : { "phase" : "Success", "completionTime" : "2023-07-31 13:16:22.100452 +0000 UTC", "startTime" : "2023-07-31 13:16:22.100452 +0000 UTC" } }, { "kind" : "Job", "apiVersion" : "v3", "metadata" : { "uid" : "70b66ad0-2fa4-11ee-bf07-0255ac1000b9", "creationTimestamp" : "2023-07-31 13:16:20.726434 +0000 UTC", "updateTimestamp" : "2023-07-31 13:16:22.093902 +0000 UTC", "annotations" : { "currentTimestamp" : "2023-07-31 13:17:24.934291673 +0000 UTC" } }, "spec" : { "type" : "CreateNode", "federationUID" : "70acf480-2fa4-11ee-ad1d-0255ac1001c4" }, "status" : { "phase" : "Success", "completionTime" : "2023-07-31 13:16:22.093902 +0000 UTC", "startTime" : "2023-07-31 13:16:20.745187 +0000 UTC" } } ] }, "status" : { "phase" : "Success", "completionTime" : "2023-07-31 13:17:24.497868 +0000 UTC", "startTime" : "2023-07-31 13:16:20.721007 +0000 UTC" } }
-
请求示例 更新集群区域 PUT https://ucs.myhuaweicloud.com/v1/clusters/{clusterid} { "kind" : "Cluster", "apiVersion" : "v1", "metadata" : { "annotations" : { "kubeconfig" : "{\"kind\":\"Config\",\"apiVersion\":\"v1\",\"preferences\":{},\"clusters\":[{\"name\":\"internalCluster\",\"cluster\":{\"server\":\"https://100.94.13.93:5443\",\"insecure-skip-tls-verify\":true}}],\"users\":[{\"name\":\"user\",\"user\":{\"client-certificate-data\":\"\",\"client-key-data\":\"\"}}],\"contexts\":[{\"name\":\"internal\",\"context\":{\"cluster\":\"internalCluster\",\"user\":\"user\"}}],\"current-context\":\"internal\"}" } }, "spec" : { "country" : "AL", "city" : "AL" } }
-
URI GET /v1/clustergroups 表1 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 分页获取列表时,页的大小,默认为-1 offset 否 Integer 分页获取列表时,起始偏移量,默认为0 order_by 否 String 分页获取列表时,排序参数,支持 create_at 和 update_at order 否 String 分页获取列表时,排序方向,支持 desc 和 asc
-
响应示例 状态码: 200 返回容器舰队列表信息 { "items" : [ { "kind" : "ClusterGroup", "apiVersion" : "v1", "metadata" : { "name" : "cluster-test", "uid" : "bffbb35b-7949-11ee-886c-0255ac100037", "creationTimestamp" : "2023-11-02 06:33:35.558128 +0000 UTC", "updateTimestamp" : "2023-11-14 06:20:20.446476 +0000 UTC" }, "spec" : { "federationId" : "e2f27cc6-82b5-11ee-84e3-0255ac100032", "federationVersion" : "v1.7.0-t1109", "dnsSuffix" : [ "www.oidc.com" ] }, "status" : { "conditions" : [ { "type" : "Federation", "status" : "Unavailable", "reason" : "FederationUnavailable", "message" : "component volcano-scheduler is unhealthy", "lastTransitionTime" : "0001-01-01T00:00:00Z" } ] } }, { "kind" : "ClusterGroup", "apiVersion" : "v1", "metadata" : { "name" : "cluster-dev", "uid" : "4557ad49-22bf-11ee-b0c9-0255ac10004b", "creationTimestamp" : "2023-07-15 03:25:39.253589 +0000 UTC", "updateTimestamp" : "2023-10-19 11:52:14.509405 +0000 UTC" }, "spec" : { }, "status" : { } }, { "kind" : "ClusterGroup", "apiVersion" : "v1", "metadata" : { "name" : "test0131", "uid" : "108f5981-a105-11ed-a23e-0255ac100032", "creationTimestamp" : "2023-01-31 01:17:44.309185 +0000 UTC", "updateTimestamp" : "2023-06-29 01:02:28.78095 +0000 UTC" }, "spec" : { }, "status" : { } } ], "total" : 3 }
-
集群类别与类型说明 集群类别(category) 集群类型(type) provider供应商 华为云集群(self) CCE Standard集群(cce) huaweicloud CCE Turbo 集群(turbo) huaweicloud 本地集群(onpremise) 本地集群(baremetal) huaweicloud 多云集群(multicloud) 多云集群(aws) huaweicloud 附着集群(attachedcluster) 阿里云集群(ack) aliyun 微软云集群(aks) azure 亚马逊云集群(eks) aws 谷歌云集群(gke) googlecloud 腾讯云集群(tke) tencentcloud OpenShift集群(openshift) openshift 自建集群(privatek8s) privatek8s 父主题: 附录
-
终端节点(Endpoint) 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点查询服务的终端节点。 UCS的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 UCS的终端节点 区域名称 区域 终端节点(Endpoint) 华北-北京四 cn-north-4 ucs.cn-north-4.myhuaweicloud.com 亚太-新加坡 ap-southeast-3 ucs.ap-southeast-3.myhuaweicloud.com 父主题: 使用前必读
-
URI GET /v1/clusters 表1 Query参数 参数 是否必选 参数类型 描述 category 否 String 获取特定category的集群。 enablestatus 否 Boolean 是否获取集群的资源信息。不填或者填写为true为获取集群资源汇总信息,置为false为不获取集群状态信息;缺省值为true。 clustergroupid 否 String 容器舰队ID。不填会返回用户所有集群,填了之后会返回属于该容器舰队的集群。 limit 否 Integer 分页获取列表时,页的大小,默认为-1 offset 否 Integer 分页获取列表时,起始偏移量,默认为0 order_by 否 String 分页获取列表时,排序参数,支持 create_at 和 update_at order 否 String 分页获取列表时,排序方向,支持 desc 和 asc managetype 否 String 获取集群列表时,根据集群类型筛选,不传参时默认为 all ,支持 all ,grouped,discrete 三种类型。 grouped:在舰队中纳管的集群 discrete:未加入舰队的集群 all:所有集群 clusterids 否 String 集群ID。多个ID以英文逗号分隔。
-
响应示例 状态码: 200 获取所有集群信息 { "items" : [ { "kind" : "Cluster", "apiVersion" : "v1", "metadata" : { "name" : "test-cluster", "uid" : "b0d1ecb5-7947-11ee-9467-0255ac1001bf", "creationTimestamp" : "2023-11-02T06:36:14Z", "labels" : { "FeatureGates" : "elbv3,SupportClientCertificateRevocation,xGPU" }, "annotations" : { "vpcId" : "11c9fe72-5a90-4295-bcfe-774726fb9066" } }, "spec" : { "syncMode" : "", "clusterGroupID" : "bffbb35b-7949-11ee-886c-0255ac100037", "manageType" : "grouped", "provider" : "huaweicloud", "type" : "cce", "category" : "self", "region" : "cn-north-4", "country" : "CN", "city" : "150900", "projectID" : "b6315dd3d0ff4be5b31a963256794989", "projectName" : "cn-north-4", "IsDownloadedCert" : false, "operatorNamespace" : "2cd7ebd02e4743eba4e6342c09e49344" }, "status" : { "kubernetesVersion" : "v1.25", "conditions" : [ { "type" : "Ready", "status" : "True", "lastTransitionTime" : "2023-11-27T11:05:09+08:00", "reason" : "ClusterAvailable" }, { "type" : "Cluster", "status" : "Available", "lastTransitionTime" : "2023-11-27T11:05:09+08:00", "reason" : "ClusterAvailable" }, { "type" : "Federation", "status" : "Federalized", "lastTransitionTime" : "2023-11-14T14:31:58.744215+08:00" } ], "endpoints" : [ { "url" : "https://192.168.1.251:5443", "type" : "Internal" } ], "phase" : "Available", "arrearFreeze" : "false", "policeFreeze" : "false" } } ], "total" : 1 }
-
URI GET /v1/clusters/{clusterid}/accessinfo 表1 路径参数 参数 是否必选 参数类型 描述 clusterid 是 String 集群ID 表2 Query参数 参数 是否必选 参数类型 描述 vpcendpoint 否 String VPC终端节点 的IP地址。私网接入的集群必填,且必须是打通线下集群的VPC终端节点。 创建VPC终端节点及查询IP地址的方法请参见创建终端节点。 region 否 String 接入region,私网接入的集群必填
-
响应示例 状态码: 200 返回未注册到UCS的CCE集群 [ { "kind" : "Cluster", "apiVersion" : "v1", "metadata" : { "name" : "cluster-test", "uid" : "57ef11e7-7d72-11ee-a590-0255ac100b05", "creationTimestamp" : "2023-11-07T13:34:15Z", "labels" : { "FeatureGates" : "elbv3,SupportClientCertificateRevocation,xGPU" } }, "spec" : { "syncMode" : "", "apiEndpoint" : "https://cce-internal.cn-north-4.myhuaweicloud.com", "provider" : "huaweicloud", "type" : "cce", "category" : "self", "region" : "cn-north-4", "country" : "CN", "city" : "150900", "projectID" : "b6315dd3d0ff4be5b31a963256794989", "projectName" : "cn-north-4", "IsDownloadedCert" : false }, "status" : { "kubernetesVersion" : "v1.27", "conditions" : [ { "type" : "Ready", "status" : "True", "lastTransitionTime" : "2023-11-27T12:42:24.182645394+08:00", "reason" : "ClusterAvailable" }, { "type" : "Cluster", "status" : "Available", "lastTransitionTime" : "2023-11-27T12:42:24.182646152+08:00", "reason" : "ClusterAvailable" } ], "endpoints" : [ { "url" : "https://192.168.1.44:5443", "type" : "Internal" } ], "phase" : "Available" } } ]
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- ...
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章