多地区公示数据合并前的字段映射

差异体现在哪些方面
不同地区的公示平台在字段名称、公告分类、时间格式与附件组织上都可能不同。有的平台把结果公告与合同公开合并发布,有的分开;有的字段叫预算金额,有的叫最高限价。直接合并会产生大量空值与错配。
建立字段映射表的做法
- 把各地字段名对应到统一的内部字段名,一对多的按含义拆分而不合并
- 记录每个地区缺失的字段,作为分析结论的限制条件
- 对含义不确定的字段,先取若干原始公告样本确认,再写入映射表
时间与分类的对齐
时间建议统一格式并注明统计时点,跨年数据要区分发布日期与所属年度。公告分类建议按功能归并,把资格预审、招标、澄清、结果、合同分别归入统一类别,避免同一类信息在不同地区落入不同分类而漏计。
合并后的校验
合并完成应做几项校验:总量与各地区分项之和是否一致、关键字段的缺失比例是否可接受、抽样核对若干条记录是否与原始页面相符。校验结果与处理说明一并记录,使跨地区数据在被引用时能被正确解读。
抽样核对是最后一道闸门
字段映射完成并不代表合并结果可靠。建议从每个地区各抽取若干条记录,回到原始页面对照关键字段,特别是金额、时间与分类三项。抽样中发现的问题往往能反映出映射规则中的系统性偏差,此时应修改规则并重跑,而不是逐条修补数据,否则同类错误会在整批数据中残留。