排查阈值违例
当满足自定义阈值规则的条件并生成警报时,就会发生阈值违例。使用警报详情页面来调查违例情况(了解其发生时间、严重程度以及规则评估的数据),然后直接从该页面采取操作。
打开警报详情页面以开始调查。该页面显示警报的触发时间、持续时间、来源(如果规则使用了 group by 字段)以及指向规则定义的链接。
该页面包含几个图表,可帮助您调查违例情况
每个条件的图表。规则中定义的每个条件都会显示一个图表。查找指标穿过阈值线的位置,以查明违例开始的时间以及情况是在改善还是恶化。时间轴上带有注释,标记了何时发生阈值违例。将鼠标悬停在警报图标上可查看确切的时间戳。
日志速率分析图。适用于具有单个基于计数条件的规则。使用日志速率分析来确定违例时日志中发生的变化——显著的下降或飙升通常指向根本原因。您可以调整基准线和偏差以优化分析。有关更多信息,请参考 AIOps Labs 文档。
警报历史记录图。显示过去 30 天内同一规则和组的警报,包括每天触发的警报数量、总数和平均恢复时间。使用此图表来评估违例是重复出现的问题还是孤立事件。
注意
如果规则表现出意料之外的行为(例如,不该运行的时候运行了、保持静默或评估了错误的数据),请从警报详情页面点击 规则查询检查器,以查找规则使用的准确 Elasticsearch 查询和数据。有关更多信息,请参考 使用规则查询检查器排查规则行为。
调查警报后,您可以从警报详情页面采取以下操作
- 暂停规则:点击 暂停规则 以在特定时间段内或无限期暂停通知。当您已经了解该问题,且在处理该问题时不需要进一步通知时,请使用此功能。
- 添加到事件:点击
图标并选择 添加到事件,将警报附加到新事件或现有事件。有关更多信息,请参考 事件。
- 标记为未跟踪:点击
图标并选择 标记为未跟踪,以停止为该警报生成操作。当规则被禁用或删除,并且您希望将其活动警报移出打开状态时,请使用此功能。