实践场景
某电商运维人员在定位分析应用、资源及业务的实时运行状况时,发现系统上报的告警数量过大,重复性告警过多,需要从众多告警中快速及时发现故障,全面掌握应用。
解决方案
AOM通过设置告警规则,实时监控环境中主机、组件等资源使用情况。当产品自身或外部服务存在异常情况时,立即触发告警。并提供告警降噪功能,支持发送告警通知前按告警降噪规则对告警进行处理,处理完成后再发送通知,帮助用户快速识别重点问题,避免产生告警风暴。
告警降噪功能分为分组、去重、抑制、静默四部分:
使用分组规则,您可以从告警中筛选出满足条件的告警子集,然后按分组条件对告警子集分组,告警触发时同组告警会被汇聚在一起发送一条通知。
使用抑制规则,您可以抑制或阻止与某些特定告警相关的其他告警通知。例如:当严重级别的告警产生时,可以抑制与其相关的低级别的告警。或当节点故障发生时,抑制节点上的进程或者容器的所有其他告警。
使用静默规则,您可以在指定时间段屏蔽告警通知,静默规则一旦创建完成,即刻生效。
去重为内置策略,服务后台会自动检验告警内容是否一致实现去重的效果,用户无需手动创建规则。
下面以监控ELB业务层全量指标为例说明。
步骤一:创建分组规则
建一个分组规则,当产生AOM的紧急、重要告警时,触发“Monitor_host”行动规则,且告警按照告警源合并分组。
登录AOM 2.0控制台。
在菜单栏选择“监控中心”,进入“监控中心”界面。
在左侧导航栏中选择“告警管理 > 告警降噪”。
在“分组规则”页签下单击 “创建分组规则”,设置规则名称、分组条件等信息。
表1 告警合并规则说明
方式
|
说明
|
---|---|
通知合并方式 |
根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。 合并方式包括: 按告警源:由相同告警源触发的告警,合并为一组发送告警通知。 按告警源 + 严重度:由相同告警源触发的告警,且其严重度相同时,合并为一组发送告警通知。 按告警源 + 所有标签:由相同告警源触发的告警,且其标签相同时,合并为一组发送告警通知。 |
首次等待 |
首次创建告警合并集合后,等待多久发送第一次告警通知。通常设置为秒级别的时间,便于告警合并后再发送,避免告警风暴。 取值范围:0s-10min,推荐设置为 15s。 |
变化等待 |
合并集合内的告警数据发生变化后,等待多久发送告警通知。通常设置为分钟级别的时间。如果您需要尽快收到告警通知,也可设置为秒级时间。 此处的变化是指新增告警或告警状态改变。 取值范围:5s-30min,推荐设置为60s。 |
重复等待 |
合并集合内的告警数据重复后,等待多久发送告警通知。通常设置为小时级别的时间。 此处的重复是指无新增告警和状态变化,仅其他属性(例如标题、内容等)改变。 取值范围:0min-15day,推荐设置为1h。 |
步骤二:创建全量指标告警规则
通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警,当没有指标数据上报时产生数据不足事件。
按照配置方式的不同,创建指标告警规则可分为三种:按资源类型创建、按全量指标创建和按Prometheus命令创建。下面的操作以按全量指标创建为例说明,创建一个监控ELB业务层全量指标的告警规则。
说明:如果需要将上报的告警数据在应用监控页页面显示,则创建指标告警规则时,只能选择按全量指标创建。
1、登录AOM 2.0控制台。
2、在菜单栏选择“监控中心”,进入“监控中心”界面。
3、在左侧导航栏中选择“告警管理 > 告警规则”。
4、在“规则列表”页签下单击 “创建告警规则”。
5、设置告警规则的规则名称等基本信息。
6、设置告警规则的详细信息
7、设置告警通知策略。告警通知策略有两种方式,此处选择告警降噪方式。
告警降噪:对告警信息自动匹配告警降噪分组规则后再发送告警,防止产生告警风暴。
8、单击“立即创建”,完成创建。创建完成后,单击“返回告警规则列表”可查看已创建的告警规则。