预警误报复盘:规则瘦身与阈值回测怎么做

误报会杀死预警本身
预警规则上线初期往往设得比较宽,运行一段时间后误报增多,使用者逐渐忽略提醒,真正重要的信号也被淹没。判断预警是否健康的一个直观指标是处理率:如果一周推送的提醒里被确认有效的比例低于预期,就说明规则需要瘦身,而不是继续加规则。
误报的三种来源
- 关键词过宽:一个常见词命中了大量无关公示,例如某一通用词出现在各类公告中。
- 阈值过松:金额、间隔天数或数量阈值设得偏保守,把正常波动当成异常。
- 逻辑组合错误:把两个各自正常的条件组合成异常判断,例如时间间隔与采购方式本无关联却被写成联合触发。
月度复盘怎么做
建议每月固定做一次复盘,用三列清单推进:本月推送了多少条、其中确认有效多少条、无效的那部分触发原因是什么。把无效项按来源、关键词与规则编号归类,找出贡献误报最多的前几条规则。复盘结论要落到具体动作:修改关键词、调整阈值、拆分或合并规则、或者直接停用。复盘记录保留,便于观察调整后的效果,也避免几个月后又把同一条规则加回来。
阈值回测的四个步骤
第一步,取过去半年到一年的历史公示数据作为样本,确保包含正常与异常两类情形。第二步,为每条规则设定两到三个候选阈值,例如间隔天数取不同档位。第三步,分别运行并统计命中数量与人工判定为有效的比例,选出命中量可控且有效率较高的阈值。第四步,在小范围试运行两周,观察实际反馈后再全面启用。回测的意义在于把调整依据从感觉换成数据,同时让阈值变化留下可追溯的记录。