公示信息去重与合并的实操方法

为什么必须先做去重
一个项目从意向公开到结果公告可能发布多条信息,标题表述、发布主体甚至项目名称都会略有不同。直接汇总会重复计数,也无法判断项目处于哪个阶段。去重与合并是所有后续分析的前置步骤。
建立唯一标识的思路
- 优先使用项目编号、标段号等稳定字段
- 没有编号时,用"采购人加项目名称加发布时间"组合判断
- 保留原始链接与发布时间,便于回溯核对
合并时要注意什么
合并的关键是判断多条信息是否指向同一标的。项目名称相近但采购内容不同的,应视为不同项目;同一项目分标段的,可以合并到主项目下但保留标段明细。合并后建议保留一条主记录与若干条关联记录,而不是简单覆盖。
常见坑
一是名称变更,同一项目在不同阶段使用不同名称,需要靠编号或采购人信息串联。二是跨平台转载,同一条信息在不同平台重复出现,应按原始发布主体与时间取一条为准。三是附件中的信息,项目编号常常只出现在附件里,正文提取不到时不要轻易判定为新项目。
区分类似项目的实用判据
名称高度相似的项目是否属于同一标的,可以从三个地方判断:采购内容描述、预算或限价金额的量级、以及项目编号或标段号。三项中有两项明显不同,一般应视为不同项目。判据写下来之后,多人协作时的合并结果就能保持一致,减少因理解不同造成的重复或漏并。