名录去重:63.4 万降到 58.7 万,砍掉的 46,358 条是什么
发布时间:2026-10-22 09:10(UTC+8)|数据截止:2026-10-22|数据来源:智联海机器人企业名录(公开工商登记整理)
2026 年 10 月,我们把这套机器人企业名录做了一次全半角归一化去重:企业总数从 633,635 条降到 587,277 条,删掉 46,358 条重复记录,占原总量 7.3%。目录页上的「共 587,277 家」就是这个口径。
这篇不写“我们多努力”,只说明四件事:重复怎么产生、同组留哪一条、删掉的是什么、去重后哪些数字变了。你在目录页看到的每一个数,都应该能按这套规则对上。
一、重复是从哪来的
名录的数据源是公开工商登记信息,重复主要有三种形态:
- 同一家公司、两种写法:括号用了全角「()」或半角「()」、方括号「[]」,或者名称中间夹了全角空格。登记系统里这是两个不同的字符串。
- 同一集团多地注册:母公司、销售公司、生产基地分别登记,名称高度相似。
- 多次导入叠加:不同批次的数据源有交集,导入时按字符串判重,写法不同就漏过去了。
这三种重复都不会让目录“看起来更全”,只会让同一家公司在列表里出现两次,干扰核验。
二、去重规则:先归一化,再按优先级留一条
归一化只做四步:()→()、[]→[]、去掉全角空格、统一小写。归一化后字符串完全相同的,视为同一组。
组内保留顺序:资料完整度(score)降序 → 资料丰富度(rich)降序 → 录入 id 升序。也就是说:优先留资料更全的那条;同样完整时留字段更多的那条;再相同就留较早录入的那条,保证结果可复现。
| 步骤 | 做法 |
|---|---|
| 归一化 | 全角括号/方括号转半角、去全角空格、统一小写 |
| 分组 | 归一化后字符串相同的记录归为一组 |
| 保留 | score DESC → rich DESC → id ASC,每组留一条 |
| 删除 | 组内其余记录删除,不做合并写回 |
三、删掉的 46,358 条长什么样
抽检一组:乐普智能机器人(广东)有限公司 在库里同时存在两条记录(括号写法不同)。去重后保留 id 150467 这一条,另一条被删除。
删除的都是重复副本,不是整家公司消失——每组至少保留一条,且保留的是资料最完整的一条。这也是为什么总数降了 7.3%,而你在目录里检索具体公司时,结果反而更干净。
四、去重后的口径(可直接核对)
| 指标 | 数值 | 备注 |
|---|---|---|
| 企业总数 | 587,277 | 原 633,635,减少 46,358 |
| 覆盖城市 | 296 个 | 按城市字段去重统计 |
| 覆盖省级行政区 | 32 个 | 含直辖市与自治区 |
| 有业务简介 | 383,060 条 | 约占 65.2% |
| 有官网字段 | 3 条 | 名录不提供官网,需外部核验 |
五、去重后哪些数字变了
第一,总数与占比会变,但不是市场变小。以工业机器人为例:198,573 条在去重前占 31.3%,去重后占 33.8%——分母变了,分子没变,所以占比上升。看类型分布时,请认准分母是 587,277。
第二,城市数、省份数这类“去重后计数”本身会跟着变。若某地只有一条记录、而这条恰好是重复副本,该城市就会从列表里消失,这是规则的结果,不是数据丢了。
第三,检索体验变好:同一家公司在目录里只出现一次,按名称搜索不会再出现两个几乎一样的条目。
六、边界
- 去重只解决“同一家公司被算两次”,不解决“一家公司是否真的做机器人”。收录依据仍是名称与经营范围关键词,不等于认证或能力评级。
- 资料完整度来自字段填充情况,不代表企业实力。
- 数据会随新增与清理变化,本文数字以 2026-10-22 为准;后续若再清理,会另文说明。
智联海