要安全删除 CSV 中的重复行，应先匹配能够唯一识别记录的列，审核系统建议的重复组，再删除多余行，或合并需要保留的值。无论是处理单个 CSV 文件，还是将多个文件导入同一个 Datablist collection，这套方法都适用。
第一轮匹配建议使用邮箱、电话号码、公司网站、SKU 或其他稳定的唯一标识符。如果值中存在拼写或格式差异，可使用 Smart、模糊或语音匹配，并将不确定的重复组留待人工审核。
合并 CSV 文件中的重复数据
Datablist 非常适合执行电子表格难以完成的数据操作。如果你需要一款好用的在线 CSV 编辑器，可以使用 Datablist。
本指南将使用两个包含数千条记录的 CSV 文件。我们会将它们载入同一个 collection，并根据四列中的一列进行去重。你也可以用同样的方法处理单个 CSV 文件。
📘 下载教程所用的 CSV 文件
下载文件包含四个表头：firstname、lastname、email 和 profession（职位名称）。文件 1 有 1,000 行数据，文件 2 有 1,003 行，去重前共计 2,003 行。我们的目标是合并邮箱地址相同的记录。
如果一个邮箱单元格中包含多个地址，请先将 CSV 多值单元格拆分为多行，再检测重复数据。如果源文件过大，无法安全导入或审核，可以先拆分大型 CSV 文件再进行去重。
合并重复数据的流程可以概括为：
步骤 1：将 CSV 文件载入 Datablist collection
创建新的 collection
第一步是把 CSV 文件载入 Datablist。打开 Datablist（无需注册）即可开始操作。
点击带有 + 的“New collection”按钮创建新的 collection。创建完成后，为它设置名称和图标。
然后点击 Import CSV 按钮。
为 CSV 文件创建 properties
CSV 文件载入后，你可以使用 CSV 的列名为 collection 创建 properties。Datablist 会列出文件中的所有列，方便你为每一列创建对应的 property。
CSV 文件本身不会声明列的数据类型。Datablist 会根据导入值推荐类型，方便后续排序和筛选。请在正式导入前检查这些推荐设置。
SKU、账户 ID 或邮政编码等标识符应保留为 Text。例如，如果把 00127 转换为 Number，开头的零会丢失，匹配键也会随之改变。如果不确定该使用哪种类型，请参阅 property 类型指南。
检查并导入数据
在审核步骤中，CSV 行会直接按照文件内容列出。请确认数据格式正确且保持一致，然后点击“Import items”按钮即可完成导入！💪
继续导入其他 CSV 文件
现在，你已经拥有一个配置好 properties 的 collection。再次执行“Import CSV/Excel”流程，即可把其他 CSV 或 Excel 文件导入同一个 collection。
步骤 2：查找重复数据
载入 CSV 文件后，打开 Clean > Merge duplicates。如果多余行中没有任何需要保留的数据，则选择 Remove duplicates。
系统提供两种模式：
- All Properties：比较完整的行数据。
- Selected Properties：仅比较能够识别记录的指定列。
在本例中，email property 足以识别联系人，因此可以选择 Selected Properties 模式，并指定 email property。
要使用这两个教程文件复现数量检查，请对 email 选择 Exact 匹配：系统会找到八个重复组，每组包含两行。将这八组全部处理为每组一行后，导出的 CSV 应包含 1,995 行数据，不含表头。如果数量不同，请检查两个文件是否都只导入了一次、匹配列是否为 email，以及是否仍有尚未处理的重复组。
如果别名或邮箱包装地址导致值不一致，请使用邮箱专用流程去除这些邮箱变体中的重复项。
检测过程只读取数据，不会修改内容。结果工作区会列出重复组、解释匹配原因，并将 Ready 组与需要审核的匹配结果分开显示。
不合并数据，直接删除 CSV 重复行
如果只想删除重复行，请在结果工作区中选择 Remove duplicates：
- 检查 Record to keep。默认选项为 Most Complete；其他记录选择规则需要付费套餐。被选中的行将保持原样。
- 打开几个重复组，对比标记为 Keep 和 Remove 的行。确认即将删除的行中是否包含仍需保留的电话号码、备注或较新的值。
- 如果这些值很重要，请选择 Merge and preserve data，并按照下方步骤 3 操作。直接删除不会把额外的值复制到保留行中。
- 确认 Ready 组符合预期后，点击 Remove ready duplicates。确认操作前，请仔细查看所有数据丢失警告。
例如，两行内容完全相同且邮箱一致的数据可以直接缩减为一行。如果两行邮箱相同但电话号码不同，则需要作出选择：保留其中一条记录且不做修改，或把两个电话号码合并到目标记录中。
请先选择匹配列，再决定保留哪一行。 All Properties 能找出整行完全相同的数据；即使职位或电话号码不同，Selected Properties 也能将属于同一联系人的记录归为一组。如果同一家公司有多位联系人，仅使用公司网站作为匹配依据通常过于宽泛。
请保留原始 CSV 文件。处理完成后，对照已审核的重复组检查删除行数，核对保留下来的标识符，再将清理后的 collection 导出为 CSV。仍待审核的行可以继续保留在 collection 中，因此完成一个批次并不代表所有潜在重复数据都已解决。
步骤 3：自动合并重复数据
当次要 CSV 行中包含有用数据时，请选择 Merge and preserve data。Datablist 会选定一条目标记录，补全空白 properties，并根据你设置的冲突规则处理数据，最后删除次要记录。
预览界面会把 Ready 组与仍存在未解决冲突的组分开显示。如需了解完整的审核、数据存续和记录选择设置，请阅读 Duplicate Finder 文档。
展开 Resolve conflicting values，即可查看哪些 properties 仍需设置处理规则。
合并无冲突的重复行
“Merge non-conflicting duplicates”算法会执行“智能合并”，把值相似或能够互补的记录合并起来。
例如，以下重复数据：
email | First Name | Last Name
james@gmail.com | James
james@gmail.com | | Bond
会被合并为：
email | First Name | Last Name
james@gmail.com | James | Bond
合并重复记录中的多个值
当重复记录中存在冲突值，但你仍希望在不丢失数据的情况下合并记录时，组合或整合多个值是理想选择。
例如，使用分号组合 Phone property：
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
会被合并为：
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
任何包含文本的 property 都可以组合。可用的分隔符包括 line break、semi-colon、comma 和 space。一次合并操作可以组合一个或多个 properties。
合并重复记录并整合多个值，非常适合用于清理 leads 和 CRM 数据。你可以合并所有重复 leads，并组合 Phone、Email、Notes properties，得到干净的名单。导出清理后的 lead CSV 后，只需将其重新导入 CRM 即可。
保留选定记录中的值
这项规则会保留所选目标记录中的值，并丢弃其他存在冲突的值。
Most Complete 是默认的 Record to keep 规则。付费套餐可以选择其他规则，也可以通过 survivorship rules 分别选择各字段要保留的值。
以下情况适合使用 drop conflicting values option：
Account Id等必须保持单一值的技术类 properties。- 类型为“Relation”、无法保存多个值的 properties，例如
Lead owner、Account。 - 无法组合的非文本 properties，例如
Last Activity、Contacted on等日期时间字段，以及复选框。
步骤 4：使用 Merging Assistant 手动合并
如果某个重复组需要人工判断，请打开 Review group。Merging Assistant 允许你选择目标记录，并为每个 property 指定需要保留的值。
人工选定的目标记录会保留其 Datablist ID，其他行则作为次要记录处理。
逐一检查每个 property，选择要保留的值，然后确认合并。你也可以将某一行排除在重复组之外，或跳过整个重复组。
按需导出为 CSV 文件
恭喜，你已经成功完成 CSV 文件去重！如果需要在其他工具中使用处理结果，请点击“Export”按钮，将 collection 导出为新的 CSV 文件。
FAQ
Datablist 还支持哪些数据处理操作？
CSV 文件广泛用于为软件应用或数据集定义结构化数据。虽然 CSV 无处不在，但处理起来并不轻松，而且通常需要一定的技术知识。
简单的数据操作可以使用电子表格完成，但遇到以下任务时，电子表格的能力会受到限制：
📘 使用唯一列连接多个 CSV 文件
如果你有多个 CSV 文件，希望通过唯一列将它们连接起来，请查看连接 CSV 文件指南。
Datablist 能处理大型 CSV 文件吗？
Free 套餐使用浏览器存储，每个 collection 最多支持 100 万条记录。付费套餐支持每个 collection 导入最多 200 万条记录。大型本地操作的实际性能仍取决于浏览器和设备。了解如何在线编辑大型 CSV 文件。
Datablist 去重算法是否优于 Excel 和 Google Sheets？
电子表格工具（Microsoft Excel、Google Sheets）都提供去重功能，通常通过删除相似行来处理数据。但在商业场景中，直接删除记录往往并不是最佳方案。
Datablist 会在修改文件前展示重复组。你可以删除多余行、合并互补值、解决数据冲突，也可以让不确定的重复组保持不变。
如有任何问题，请联系我们。