要在多个 Excel 或 CSV 文件之间去重,可以将每个文件分别保存在独立的 Datablist collection 中,映射用于识别同一条记录的属性,然后对这些 collection 进行比较。之后,你可以从新导入的名单中删除匹配行,同时保持参考名单不变。

当你手上有一份 CRM 导出数据和一份新的潜在客户名单时,这套工作流尤其有用。它能回答一个明确的问题:哪些潜在客户已经存在于 CRM 中?

这里的自动操作属于排除(suppression),而不是合并。它会从你指定的 collection 中删除匹配记录,但不会将这些记录中的独有值复制到另一个 collection。

本指南记录了一次使用两个各含 250 行的 CSV 文件进行的实际测试:

Collection用途处理前行数匹配属性
CRM Export需要保留的参考名单250Email
Event Registrations需要清理的新名单250Attendee Email

两个文件中预先设置了 100 条跨名单重复记录。从 Event Registrations 中删除这些匹配项后,最终剩下 150 位全新活动联系人。

下载两个示例文件

你可以使用以下文件复现测试:

两个文件的表头是特意设计成不同的。CRM 文件使用 Email、First Name 和 Last Name,活动文件则使用 Attendee Email、Attendee First Name 和 Attendee Last Name。通过跨 collection 属性映射,两个文件可以保留各自原有的数据结构。

测试数据包含不同的邮箱格式和别名写法。因此,与未经处理的完全匹配相比,搭配 Email processor 使用 Smart 匹配更实用。

将每个文件导入独立的 Collection

打开 Datablist,将每个 CSV 或 Excel 文件分别导入一个独立的 collection。建议根据名单用途命名 collection,方便核对清理规则。

本次测试中的第一个 collection 是 CRM 参考名单,包含 250 条记录,并且必须保持不变。

包含 250 条数据的 CRM Export 参考 collection
包含 250 条数据的 CRM Export 参考 collection

第二个 collection 是新导入的活动名单,初始同样包含 250 条记录。

包含 250 位新联系人的 Event Registrations collection
包含 250 位新联系人的 Event Registrations collection

导入时请检查属性类型,将两个邮箱列都设置为 Email 类型。保留外部 ID、姓名、电话号码及其他字段,因为这些信息有助于审核存在疑问的匹配结果。

映射用于识别重复记录的属性

打开新导入的 Event Registrations collection,选择 Clean > Match across collections。

在 Clean 菜单中选择 Match across collections
在 Clean 菜单中选择 Match across collections

启用 Check duplicate items across several collections?,然后添加 CRM Export。

在活动 collection 中选择 Attendee Email,并将其映射到 CRM collection 中的 Email。

选择 Event Registrations 和 CRM Export,并将 Attendee Email 映射到 Email
选择 Event Registrations 和 CRM Export,并将 Attendee Email 映射到 Email

相比列名,是否选用了可靠的唯一标识符更重要。常见选择包括:

  • 联系人的 Email 地址。
  • 当两个文件采用兼容的国家或地区区号时,可使用电话号码。
  • 潜在客户名单中的 LinkedIn URL。
  • 企业的 Website domain。
  • 产品的 SKU 或其他稳定标识符。

不要只按名字匹配,因为不同的人经常会重名。

如果在一次检查中选择多个属性,记录必须满足整套配置才能匹配。如果你希望按邮箱或电话号码匹配,而不是要求邮箱和电话号码同时匹配,请分别运行检查。

配置比对方式

对于必须完全一致的稳定 ID,请使用 Exact。对于邮箱,请选择 Smart,并搭配 Email processor。

为两个 collection 配置 Smart 匹配和 Email processor
为两个 collection 配置 Smart 匹配和 Email processor

Email processor 会将支持的邮箱变体标准化后用于比对,但不会改写源单元格。有关邮箱匹配的具体行为和限制,请参阅邮箱地址与别名去重指南。

确认两个数据源、记录数量、属性映射和比对设置后,点击 Run duplicates check。

检查跨名单匹配结果

本次测试共检查了 500 条记录,找到了 100 组跨 collection 重复记录。

跨 collection 结果:已检查 500 条记录并找到 100 个重复组
跨 collection 结果:已检查 500 条记录并找到 100 个重复组

跨 collection 模式只会返回包含多个 collection 中记录的重复组。仅存在于 CRM Export 内部或仅存在于 Event Registrations 内部的重复项会被跳过。

删除任何数据之前,请先检查重复组:

  • 确认映射的标识符代表同一个人或同一家企业。
  • 检查新导入的记录是否包含独有数据。
  • 确认哪个 collection 是参考名单。
  • 如果需要由其他人批准排除操作,请下载重复组。
  • 如果某个重复组需要合并而不是删除,请使用 Manual Merging Assistant。

如果还需要清理任一文件内部的重复数据,请单独在对应 collection 中运行 Duplicates Finder 工作流。

从新名单中删除重复记录

选择 Remove duplicate items from collection {X},然后将 Event Registrations 设为要清理的 collection。

Datablist 会在处理前显示本次操作的影响:

  • Event Registrations 中的匹配记录将被删除。
  • CRM Export 不会发生变化。
  • 活动名单中未在 CRM 里找到匹配项的记录将被保留。
  • 如果某个值只存在于被删除的活动记录中,该值将会丢失。
配置清理规则,从 Event Registrations 中删除与 CRM 重复的记录
配置清理规则,从 Event Registrations 中删除与 CRM 重复的记录

⚠️ 此操作不会将数据合并到 CRM

如果活动记录中包含 CRM 缺少的有效电话号码、来源、用户同意字段或备注,自动排除不会复制这些数据。请先检查或导出重复组,或者针对相关重复组使用 Manual Merging Assistant。

使用三个或更多 collection 时,Datablist 还提供一项规则,可将重复记录仅保留在指定的一个 collection 中。处理前请仔细检查摘要,因为该操作可能会从多个数据源中删除记录。

确认所选 collection 和操作摘要符合预期后,点击 Process duplicate items。

本次操作中,Datablist 处理了全部 100 个跨 collection 重复组。随后,结果页面显示剩余重复组为零。

成功处理 100 个跨 collection 重复组
成功处理 100 个跨 collection 重复组

验证清理后的名单

返回 Event Registrations。此时,该 collection 中还剩 150 条数据。

清理后的 Event Registrations collection,包含 150 位全新联系人
清理后的 Event Registrations collection,包含 150 位全新联系人

行数核对结果如下:

250 条新导入记录 - 100 位与 CRM 匹配的联系人 = 150 条全新记录

导出前,请确认:

  • CRM Export 仍包含 250 条数据。
  • Event Registrations 包含 150 条数据。
  • 抽查几条已知的 CRM 邮箱地址,确认它们已不再出现在活动名单中。
  • 未匹配的活动联系人仍然保留。
  • 如果需要撤销操作,可以在 History 中找到本次处理记录。

将清理后的活动 collection 导出为 CSV 或 Excel。现在,这份名单可以直接用于全新 Lead 的后续工作流,不会重复导入 CRM 中已有的联系人。

跨 Collection 去重的限制

与合并文件相比,跨 collection 匹配的用途更为明确,也更有限:

  • 自动处理会删除记录,不会跨 collection 整合字段。
  • 单个 collection 内部的重复项会被跳过。
  • 所有用于比对的属性都必须在所选 collection 之间完成映射。
  • 同时匹配多个属性会让规则更加严格。
  • Smart、fuzzy 和 phonetic 匹配可能会返回需要人工审核的候选结果。
  • 跨 collection 匹配需要付费套餐。

这套工作流适用于排除名单、CRM 导入检查、活动 Lead 清理、营销活动受众排除,以及任何需要将一份名单作为唯一可信数据源的流程。

如果需要先将多个文件合并为一张表再去重,请参阅电子表格合并指南。如果要在同一个 collection 中保留重复记录里的互补字段,请使用单名单工作流,合并重复 Lead 且不丢失数据。