异常数据的四条处置路径:修正、留疑、退回与剔除

先分类再动手
看到异常就删,会丢掉可能有价值的信息;一律保留,又会污染统计结果。处置前先判断异常的性质与影响范围,再决定怎么处理。
四条路径
- 修正:能确认是录入或抽取错误,可依据原文订正
- 留疑:信息本身存在矛盾或缺失,保留原值并加标记
- 退回:需发布方或采集人补充确认的,转回继续处理
- 剔除:确认与统计口径无关或重复的,移出统计范围
处理原则
能用原文证明的才修正,不能证明的一律留疑;剔除要说明依据并保留原始记录,不做物理删除,确保任何时候都能还原。
影响评估
- 统计前先看异常数量占比是否影响结论
- 占比过高时先解决采集问题再出报表
- 把异常类型与频次作为质量指标定期回顾
把异常当成信号
某一来源连续出现同类异常,往往说明页面结构或发布习惯已经改变,此时应回到采集与规则层面处理,而不是逐条修补结果。
- 把异常数量按周记录,观察趋势变化
- 数量突然上升时暂停对外使用相关统计
- 查清原因并修复后再恢复统计与发布
处理结果要写清是哪一次规则变更或哪一个来源引起的,便于后续复盘时直接定位,也避免同类问题在其他来源上重复出现。