智联海多来源同一公告的去重与合并方法
重复是怎么产生的
同一条公告可能在多个平台同时出现，也可能被转载到其他渠道。采集时如果不做判重，统计数量会虚高，趋势分析也会失真。
判重键怎么设
- 组合键：发布主体加项目名称加公告日期加公告类型。
- 辅助键：公告编号、项目代码或标段编号。
- 内容键：正文中的关键短语与附件名称。
比对步骤
先用组合键筛出候选重复项，再逐对比较正文首尾段落、附件名称与关键字段。内容一致而来源不同的，判定为转载；内容有实质差异的，判断是补充还是不同版本。
合并与留档
保留信息最完整的一条作为主记录，其余来源作为关联来源记录链接与抓取时间。出现更完整版本时更新主记录并保留更新痕迹，不要直接覆盖。
持续监控
定期统计重复率，按来源分组观察。某来源重复率突然升高，往往说明采集端重复抓取同一页面，应检查采集规则与分页逻辑，而不是继续靠人工清理。
判重的记录
每次判重结果简要记录判断依据与时间，便于后续复核与规则优化。对重复率持续偏高的来源，检查采集配置而不是继续靠人工清理。
