企业名录去重之后:46,358 条重复是怎么来的
发布时间:2026-10-20 09:40(北京时间)|数据截至:2026-10-20|数据来源:智联海机器人资讯企业名录
一、先给结果
| 项目 | 去重前 | 去重后 |
|---|---|---|
| 名录记录数 | 633,635 | 587,277 |
| 重复条目 | — | 46,358(7.3%) |
| 页面显示合计 | 634,095 | 587,737(含 460 已核验) |
二、重复是怎么产生的
重复来自三类差异,肉眼几乎看不出来:
- 全角与半角括号:`乐普智能机器人(广东)有限公司` 与 `乐普智能机器人(广东)有限公司`,机器判定是两个字符串。
- 全角空格与不规则空白:企业名称中间多一个全角空格,检索时看起来一样,实际不同。
- 括号类型混用:`[]` 与 `[]`,来自不同数据源的录入习惯。
三、判定规则
去重按归一化后的名称分组:先把全角括号、方括号、全角空格统一成半角,去掉所有空白,转小写,再按名称分组。同一组内保留一条:
- 优先保留 score 更高(资料更完整)的那条
- 其次保留 rich 更高(字段更丰富)的那条
- 最后按 id 小的保留,保证结果稳定可复现
四、去重后哪些数字变了
分类与省份的分布数字全部按去重后的口径重算,所以你会看到:
- 机器人相关企业:357,726(原来是 382,995)
- 工业机器人:137,543(原来 150,645)
- 江苏省:41,168、山东省:52,055、浙江省:54,381 等按地区数字同步下降
这些下降不是企业变少了,而是「同一条企业不再被算两次」。
五、为什么值得做
重复记录会带来三个实际问题:一是按分类计数时虚高;二是按城市筛选时同一家企业出现两次;三是检索时同一家公司挤占多个结果位。去重之后,数字更小,但更能代表真实企业数量。
六、还有什么没解决
这次只处理了「名称归一化后完全相同」的重复。以下情况仍会保留为独立条目:分公司与总公司、名称简称与全称、同一集团不同主体。这些差异有业务含义,不能简单合并。
智联海