公示数据质量的抽检与记录方式

为什么必须抽检
抽取规则不可能一次做对,来源格式也会变化。定期抽检能及早发现系统性错误,避免错误数据被批量用于分析和写作。
抽检比例怎么定
按来源、时间段与字段分别设定比例。关键字段与新增来源提高比例,稳定来源可以降低但不宜取消。抽检样本覆盖不同时间段与不同公告类型,避免只抽近期或只抽某一类。
核对重点
- 日期:是否与原文一致,有无格式转换错误。
- 数值:单位与口径是否被改变,含税与不含税是否混用。
- 名称:主体与项目名称是否完整,有无截断或串行。
- 缺失:该有值的字段是否被留空或填了默认值。
错误分类与处理
把发现的错误按规则问题、来源问题、人工录入问题分类统计。规则问题修正抽取规则并回归验证,来源问题调整解析方式或降级来源,人工问题加强复核环节。
记录留痕
每次抽检记录时间、样本量、发现问题与处理动作,形成可追溯的记录。季度汇总错误率与趋势,作为评估数据可用性与改进优先级的依据。
错误修复的回归
修正规则后重新跑一段历史数据,确认错误被修复且没有引入新问题。修复动作与验证结果一并记录,避免同一个错误反复出现。