要在 Excel 文件中合并重复行,同时保留有用信息,可以先用 Email 等唯一字段匹配记录,再合并互补字段,并在删除任何一行前检查冲突值。借助 Datablist,你可以导入 XLSX 文件、预览重复记录组,然后导出合并后的结果。

Excel 的 Remove Duplicates 命令只会保留第一条匹配记录,并删除其余记录。它不会把被删除行中的电话号码或备注复制到保留的记录中。如果其他重复行还包含你需要的信息,更适合使用合并工作流。

Datablist 的 Duplicates Finder会在修改文件前显示相互匹配的记录。你可以合并互补值、设置冲突处理规则,也可以暂时不处理无法确定的记录组。匿名访客可以执行 Exact 精确检查;Smart 智能匹配则需要注册免费账户。

为什么不直接用 Excel 合并重复数据?
Microsoft Excel 功能非常强大,也提供了“Remove Duplicates”功能。但它只会保留第一条“匹配”记录,并删除其他重复行。如果两行中的信息可以互补,这种处理方式就会造成数据丢失。 合并重复数据本不该如此复杂。电子表格工具虽然实用,但定位比较通用,并不专注于数据处理。Datablist 面向结构化列表数据,提供简单易用的数据处理功能。

在下面的教程中,你将学习如何查找并合并 Excel 文件中的重复数据,同时避免丢失信息。 本文将使用一份联系人 Excel 文件进行演示,其中包含 4 类信息:First Name、Last Name、Email、Job Title,并根据 Email 地址查找和合并重复联系人。

点击此处下载教程使用的 Excel 文件。

整个流程可以概括为以下步骤:

  1. 导入 Excel 文件
  2. 查找 Excel 文件中的重复数据
  3. 自动合并重复行
  4. 手动合并存在冲突的记录

第 1 步:导入 Excel 文件

第一步是将 Excel 文件导入 Datablist。创建一个 collection,然后使用 Import CSV/Excel assistant 加载文件。

创建用于存放数据的 collection
创建用于存放数据的 collection

创建 Properties 并映射 Excel 列

Datablist collection 类似于带有数据结构的电子表格。在 Datablist 中,表格列称为“Properties”。如果某项 Property 被定义为 Email,Datablist 会确保其中只能填写有效的 Email 地址;日期、复选框等类型也采用同样的逻辑。

加载 Excel 文件后,你需要选择要导入的列,并将它们映射到现有的 collection Property,或创建新的 Properties。

Datablist 会分析前几行数据并识别其中的规律,从而自动检测常见的数据类型。

导入 Excel 文件

📌 Excel 工作簿导入说明

Datablist 只会导入 Excel 工作簿中的第一个工作表。继续操作前,请检查公式列导入后的值;如果只想处理最终值,请先在 Excel 中创建副本,并将公式替换为计算结果。

合并两个 Excel 文件或工作表并去重

先把第一个文件导入某个 collection,再将第二个文件导入同一个 collection。请将含义相同的列映射到同一个 Property:例如,一个文件中的 Email Address 和另一个文件中的 Email 都应映射到同一个 Email Property。如果要处理多个工作表,请分别将每个所需的工作表保存为独立文件,并确保该工作表位于文件首位。

然后,对合并后的 collection 执行重复数据检查。处理联系人数据时,建议优先使用非空 Email 或稳定的联系人 ID。仅凭完整姓名匹配,可能会把不同的人归入同一组。对于缺少匹配键的记录,应单独检查;如果需要追踪每条记录来自哪个文件,还可以保留一个 Source 字段。

例如,一份文件可能包含某位联系人的姓名和 Email,另一份文件则包含相同 Email 及其电话号码。合并后可以同时保留这三个字段。如果两个文件中的电话号码不同,则需要选择冲突处理规则,或保留该组记录以便手动检查。单纯追加文件或删除重复行,无法替你完成这项判断。

第 2 步:查找 Excel 中的重复数据

Excel 数据导入后,就可以使用 Datablist 的 Duplicates Finder查找并合并重复记录。

打开 Clean > Merge duplicates。

Duplicates Finder
Duplicates Finder

你可以选择两种模式:

  • All Properties:比较完整的行数据。
  • Selected Properties:只比较用于识别同一条记录的字段。

在本例中,email Property 足以识别联系人,因此可以选择 Selected Properties 模式,并指定 email Property。

重复数据分析不会修改原始记录

在你决定自动或手动合并记录之前,分析操作不会对任何记录产生影响。

根据一个或多个 Properties 查找重复记录

第 3 步:自动合并重复行

选择 Merge and preserve data。Datablist 会利用互补记录中的数据填充空白 Properties;如果两个非空值发生冲突,系统会要求你设置处理规则。

自动合并重复值
自动合并重复值

数据相同或互补的记录会被合并为一条。例如:

email            |     First Name   |    Last Name
james@gmail.com  |     James
james@gmail.com  |                  |     Bond

将合并为:

email            |     First Name   |    Last Name
james@gmail.com  |     James        |     Bond

**另一种合并方式可以把存在冲突值的重复行整合为一条记录。**不同的值会通过分隔符组合起来。

重复数据合并选项
重复数据合并选项

例如:

email            |          Notes          |    Phone
james@gmail.com  |    Met during an event  | 0 493 492 334
james@gmail.com  |     To be contacted     | 06 67 23 42 23

为 Notes 选择 semi-colon(分号)、为 Phone 选择 Comma(逗号)进行组合后,将得到:

email            |                  Notes               |    Phone
james@gmail.com  | Met during an event;To be contacted  | 0 493 492 334,06 67 23 42 23

借助这一组合选项,即使列表中有数千行重复数据,也能在不丢失信息的情况下完成整合。你可以使用这项强大功能,自动清理联系人、Leads 和公司名单!

第 4 步:手动合并冲突记录

如果匹配结果置信度较低、某项冲突没有对应规则,或者 Record to keep 规则无法选出要保留的记录,相应记录组就会留在 Needs review 中。

打开 Review group,你可以编辑某条记录、将其移出当前分组、跳过整组记录,或启动 Merging Assistant。确认合并前,请选定目标记录,并逐项选择每个 Property 要保留的值。

手动合并剩余的重复记录

将结果导出为 CSV 或 Excel 文件

完成!你的数据已经去重!

导出前,请分别检查一组互补记录、一组存在冲突值的记录,以及所有仍待审核的记录组。确认删除的行数与已接受的合并操作一致,并确保选定的联系人 ID 和有用字段仍然保留。

如果数值代表不同的独立贡献,请参考合并重复记录时对数值求和教程。对于同一总数的重复快照,则不应再次相加。

点击 collection 顶部的 Export,然后选择 CSV 或 Microsoft Excel。将导出的文件导入其他应用前,请先打开并检查表头、ID,以及部分合并后的记录样本。

导出为 Microsoft Excel 格式
导出为 Microsoft Excel 格式