如何在线比较CSV文件:按记录查找新增、删除与数据变更的完整教程

Florian Poullin
Florian Poullin
6 分钟读完
按记录比较 CSV 文件
如何在线比较CSV文件:按记录查找新增、删除与数据变更的完整教程
目录
  1. 快速导航
  2. 最快的 CSV 文件比较流程
  3. 示例数据集:Products CSV 与 Offers CSV
  4. 第 1 步:上传原始和更新后的 CSV 文件
  5. 第 2 步:选择行匹配方式
  6. 第 3 步:映射名称不同的列
  7. 第 4 步:选择连接类型和比较选项
  8. 第 5 步:检查新增、删除、变更和未变更的行
  9. 第 6 步:导出 CSV diff 结果
  10. 输出表示例
  11. 哪些场景适合这样比较 CSV 文件
  12. 比较、连接还是去重:选择正确的 CSV 流程
  13. FAQ

当你需要在线比较 CSV 文件时,首先要避免的就是直接做纯文本 diff。CSV 是结构化数据:行的位置会变化,列名可能被重命名,新的导出文件也可能增加字段。逐行比较很快就会产生大量无效差异。

我更倾向于把两个文件当作表格来比较:选择一个稳定的键,映射需要比较的列,检查新增、删除、变更和未变更的行,最后导出 diff。这正是 Datablist CSV Diff tool 的用途。

本教程将比较一份较早的商品目录导出文件和一份较新的供应商报价文件。两个文件的列并不完全相同,但都包含 EAN、Internal ID、Price 和 Stock。这是一个很典型的场景:通过 EAN 匹配商品,比较价格和库存,再导出结果。

快速导航

最快的 CSV 文件比较流程

如果两个文件已经准备好,整个流程很简单:

  1. 打开 Datablist 的 CSV Diff tool。
  2. 将较早的文件上传为 Original CSV。
  3. 将较新的文件上传为 Updated CSV。
  4. 先使用自动检测,再确认用于匹配的键列。
  5. 如果两个文件使用不同的列名,请手动映射列。
  6. 首次检查时保留 full outer join。
  7. 检查变更、新增、删除和未变更的行。
  8. 第一轮先导出完整 diff CSV。
  9. 如果交接文件需要更精简,再切换为仅导出变更行。

这种方式比文本 diff 更可靠,因为它比较的是记录,而不是行号。如果 CRM 导出文件重新排列了联系人,或者供应商增加了一个新字段,文本 diff 可能会让整个文件看起来都发生了变化。表格 diff 则能准确告诉你哪些记录以及哪些单元格发生了变化。

🔑 先选定行键,再判断 diff 是否可信

合适的键列能把杂乱的比较结果变成真正有用的信息。请选择在两次导出之间保持稳定的 ID、email、SKU、EAN 或内部标识符。

示例数据集:Products CSV 与 Offers CSV

本教程使用一组虚构的电商数据。第一个文件是较早的商品目录导出,第二个文件是较新的供应商或电商平台报价 feed。

原始 Products CSV 如下:

序号EAN内部 ID名称品牌分类价格币种库存供货状态
15901234123457PRD-001密封水瓶Acme Outdoor户外用品24.90EUR42有货
25901234123464PRD-002便当盒Northline厨房用品18.50EUR120有货
35901234123471PRD-003棉质托特包Urban Goods配饰9.90EUR0缺货
45901234123488PRD-004LED 台灯Luma办公用品39.00EUR18有货
55901234123495PRD-005瑜伽垫BalanceFit运动用品29.00EUR65有货
105901234123549PRD-010无线鼠标ClickPro电子产品34.00EUR55有货

更新后的 Offers CSV 描述字段较少,但仍包含本次比较所需的标识符和商业数据:

报价 IDEAN内部 ID供应商 SKU库存价格
OFF-0015901234123457PRD-001ACM-BTL-013823.90
OFF-0025901234123464PRD-002NTH-LBX-0212018.50
OFF-0035901234123471PRD-003UGD-TOTE-03259.90
OFF-0045901234123488PRD-004LMA-LAMP-041835.00
OFF-0055901234123495PRD-005BFT-MAT-056529.00
OFF-0085901234123556PRD-011CLP-CAB-114416.50

这组文件包含了 CSV diff 示例中常见的几类情况:数值变化、新增行、删除行、未变更行以及不同的表结构。对于完整样本,预计 PRD-001、PRD-003、PRD-004、PRD-006 和 PRD-010 会被标记为变更;PRD-011 和 PRD-012 会被标记为新增;PRD-008 和 PRD-009 会被标记为删除。

第 1 步:上传原始和更新后的 CSV 文件

打开 CSV Diff tool,你会看到两个上传区域:

  • Original CSV:较早的导出文件、旧快照或基准文件。
  • Updated CSV:要与原始文件比较的较新导出文件。

文件顺序很重要。如果某行只存在于更新文件中,Datablist 会将其标记为 added。如果某行只存在于原始文件中,则会被标记为 removed。

在这个商品示例中,我把 Products CSV 上传为 Original CSV,因为它是较早的商品目录;把 Offers CSV 上传为 Updated CSV,因为它代表较新的供应商 feed。

CSV Diff tool 中包含 Original CSV 和 Updated CSV 文件输入框的上传页面
CSV Diff tool 中包含 Original CSV 和 Updated CSV 文件输入框的上传页面

选择两个文件后,工具会解析文件并准备第一次比较。CSV 文件会直接在浏览器中解析和比较。解析器可识别逗号、分号、制表符和竖线等常见分隔符,也支持 UTF-8、Windows-1252 等常见编码。

查看结果前,我仍会再次确认文件顺序。很多错误的 CSV 比较都是因为颠倒了新旧文件,随后又把新增和删除行反向理解。

第 2 步:选择行匹配方式

行匹配是整个流程中最重要的设置。

Datablist 可以先进行自动检测。它会寻找可能的标识符列,例如 id、email、sku、uuid、external_id、record_id、user_id、contact_id 和 company_id。

对于商品数据,我通常优先选择:

  • 有值且唯一时使用 EAN。
  • EAN 缺失、重复或因供应商而异时使用 Internal ID。
  • 只有两个文件使用相同 SKU 时才使用 SKU。

对于 CRM 或 Lead 文件,对应的键可能是 email、contact_id、company_id 或 CRM 记录 ID。

CSV Diff 匹配设置,包括自动检测行匹配和 full outer join
CSV Diff 匹配设置,包括自动检测行匹配和 full outer join

匹配模式取决于数据结构:

  • 大多数导出文件适合单键匹配。一个稳定的列更容易检查。
  • 当单列不够唯一时,使用多键匹配,例如 Company Domain 加 Email。
  • 没有稳定标识符时,才使用整行比较。
  • 第一轮可以使用自动检测,但在采信统计结果之前,一定要确认检测到的键。

⚠️ 不可靠的键会制造大量虚假的新增和删除行

如果键在两次导出之间缺失、重复或格式发生变化,同一条记录可能显示为一条删除记录和一条新增记录。使用结果执行更新前,请先检查重复键标记。

出现重复键并不意味着 diff 完全不可用,但它提醒你需要谨慎检查。工具会标记重复键;在采信统计数量之前,我会先人工核查这些记录。

第 3 步:映射名称不同的列

列映射决定要比较哪些字段。

在商品示例中,两个文件都包含 EAN、Internal ID、Stock 和 Price。原始文件还包含 Name、Brand、Category、Currency 和 Availability,更新文件则包含 Offer ID 和 Supplier SKU。

我不希望供应商文件独有的 metadata 被误判为变更,只需要比较能够回答业务问题的列:

  • 使用 EAN 匹配行。
  • 将 Stock 与 Stock 比较。
  • 将 Price 与 Price 比较。
  • 有助于检查记录时,保留描述性列作为上下文。
  • 与比较无关的字段不做映射,避免影响结果。

列名相同时,Datablist 可以按名称自动对齐,列的顺序无需一致。当字段标签发生变化时,就需要手动映射。例如,一份 CRM 导出使用 customer_id,另一份使用 Customer ID。只有当两者表达相同含义时才应建立映射。

💡 只映射真正需要比较的列

供应商 feed 和 CRM 导出经常会增加 metadata 字段。如果某个字段不应被计入变更,请不要映射它,或者只在检查时把它作为上下文使用。

这一步看似简单,却往往最能节省时间。选错键会导致行匹配错误,列映射错误则会导致变更数量失真。

第 4 步:选择连接类型和比较选项

首次运行时,建议采用以下设置:

  • Full outer join。
  • 一个稳定的键列。
  • 忽略开头和结尾的空格。
  • 统一处理空值和类似 null 的值。
  • 默认区分大小写,除非大小写本身并不重要。

Full outer join 是最合适的默认选项,因为它会显示所有内容:匹配行、新增行和删除行。你可以先完成全面审查,再逐步缩小结果范围。

CSV Diff 中关于列顺序、空格、大小写和类似 null 值标准化的比较设置
CSV Diff 中关于列顺序、空格、大小写和类似 null 值标准化的比较设置

连接类型会决定结果中显示哪些记录:

  • Full outer join 显示匹配行、仅存在于原始文件中的行,以及仅存在于更新文件中的行。
  • Inner join 只显示两个文件中都存在的记录,适合只关注共有记录变化的场景。
  • Left join 以原始文件为基础,不显示仅存在于更新文件中的行。

比较选项可以减少纯格式差异带来的噪音:

  • Ignore whitespace 会在比较单元格前去除首尾空格。
  • Ignore case 会将 Acme 和 ACME 视为相同。
  • 空值和类似 null 的值标准化会把空白、null、undefined、nil、none、n/a 和 na 视为等价占位符。

如果某种占位符在你的数据中具有实际含义,请关闭标准化。假设原始记录包含 id = 101 和 Region = NA,其中 NA 表示 North America;更新后的记录 ID 相同,但 Region 为空。启用 Normalize empty and null-like values 后,这两个 Region 值会被视为相同;如果其他映射值也没有差异,该行就可能显示为 unchanged。

要识别这项变化,请关闭该设置,继续以 id 作为键并映射 Region,然后重新运行。该行应显示为 changed,完整 diff 导出中会并列显示 NA 和空值。由于此选项会应用于所有被比较的列,最好先检查一条类似记录,再决定是否对整个文件启用标准化。

📘 第一次审查使用 full outer join

先全面检查,再缩小范围。确认新增、删除和变更数量合理后,再导出更精简的变更行文件供团队审核。

处理大型文件时,浏览器和设备性能会影响速度。为了保证响应流畅,预览内容会受到限制,但可下载的 CSV 会基于完整结果生成。如果文件太大、难以顺畅比较,可以先把大型 CSV 拆分成多个较小的审核文件。

第 5 步:检查新增、删除、变更和未变更的行

比较完成后,先查看每一行的状态:

  • added:该键只存在于 Updated CSV。
  • removed:该键只存在于 Original CSV。
  • changed:该键在两个文件中都存在,但至少一个映射值发生了变化。
  • unchanged:该键在两个文件中都存在,且标准化后的映射值一致。

商品示例提供了几种清晰的情况:

  • PRD-001 发生变化,因为 Price 从 24.90 变为 23.90,Stock 从 42 变为 38。
  • PRD-003 发生变化,因为库存从 0 增加到 25。
  • PRD-011 被标记为新增,因为它的 EAN 只出现在 Offers CSV 中。
  • PRD-008 被标记为删除,因为它的 EAN 只出现在 Products CSV 中。

可以使用状态筛选器集中检查结果。我通常先看 Changed,再检查 Added 和 Removed。除非需要完整的审计记录,否则我会把 Unchanged 留到最后。

CSV Diff 预览表,包含状态筛选、搜索、复制和下载操作
CSV Diff 预览表,包含状态筛选、搜索、复制和下载操作

变更行视图适合检查单元格级差异。它会针对每个发生变化的列,并排显示原始值和更新后的值。

CSV Diff 变更行视图,并排显示原始和更新后的单元格值
CSV Diff 变更行视图,并排显示原始和更新后的单元格值

导出前,我会快速完成以下质量检查:

  • 新增和删除数量是否合理?
  • 工具是否使用了预期的键匹配行?
  • 是否存在重复键标记?
  • 列映射是否正确?
  • 本应忽略的纯格式变化是否已被排除?
  • 展开查看几条变更行后,差异是否符合预期?

汇总区域还能帮助你快速复核。它会显示处理详情、映射列、重复键标记以及各状态的数量。

CSV Diff 汇总卡片,显示变更、新增、删除、未变更、处理情况和映射列数量
CSV Diff 汇总卡片,显示变更、新增、删除、未变更、处理情况和映射列数量

如果数量看起来异常,先不要导出。请返回检查键和列映射,大多数问题都出在这两个环节。

第 6 步:导出 CSV diff 结果

确认预览结果正确后,即可导出。Datablist 会根据不同需求提供多种输出模式:

  • Summary CSV:适合查看行状态、键、数量以及便于审计的概要。
  • Changed rows CSV:适合只需要审核差异记录的团队成员。
  • Full diff CSV:适合并排查看原始值和更新值。

第一次运行时,我更倾向于导出 Full diff CSV。它保留了更多上下文,方便日后解释某项变更。流程验证无误后,再改用 Changed rows CSV,生成更精简的文件。

你还可以选择分隔符:

  • 大多数电子表格流程使用逗号。
  • 当本地格式或下游系统有要求时使用分号。
  • 对于要求特定格式的工具,可使用竖线或制表符。

该工具支持复制差异 CSV,也可以直接下载。下载文件遵循以下命名格式:

text
csv-diff-{originalBase}-vs-{updatedBase}.csv

如果导出结果较大,需要在分享前筛选或编辑,可以参考 Datablist 的在线编辑大型 CSV 文件指南。

输出表示例

以下是商品示例中完整 diff 导出结果的一小部分。

statuskeychanged_columnsoriginal:Priceupdated:Priceoriginal:Stockupdated:Stock
changed5901234123457Price|Stock24.9023.904238
changed5901234123471Stock9.909.90025
added590123412355616.5044
removed59012341235257.5088

导出的 CSV 可以包含:

  • status:新增、删除、变更或未变更。
  • key:用于匹配行的值。
  • __row_index_original:记录存在于 Original CSV 时的行号。
  • __row_index_updated:记录存在于 Updated CSV 时的行号。
  • __duplicate_key:所选键是否出现多次。
  • changed_columns:发生变化的字段。
  • changed_columns_count:发生变化的字段数量。
  • summary:便于阅读的变更摘要。
  • original:{column} 和 updated:{column}:用于并排检查的原始值与更新值。

我喜欢这种格式,因为它很适合交接。接收者无需重新运行比较,就可以筛选 status = changed、按 changed_columns_count 排序,或单独查看新增和删除记录。

哪些场景适合这样比较 CSV 文件

只要你有两个数据快照,并希望了解其中发生了什么变化,就适合使用这一流程。常见场景包括:

  • 更新商品目录的价格和库存。
  • 导入新报价前检查供应商 feed。
  • 对比清理前后的 CRM 导出。
  • 更新 Lead 名单。
  • 比较库存快照。
  • 审核交接的电子表格。
  • 比较通过 JSON 转换流程生成的 CSV 导出文件。

例如,你可以先把嵌套 JSON 转换为 CSV,再使用 CSV Diff 比较两次生成的导出结果。如果正在为 CRM 准备记录,可以在执行更全面的数据清洗之前先运行 diff,明确哪些行发生了变化。

比较、连接还是去重:选择正确的 CSV 流程

比较 CSV 与连接或去重文件并不是一回事。当你的问题是下面这样时,请使用 CSV Diff:

两个数据快照之间发生了哪些变化?

当你的问题是下面这样时,请使用 join 流程:

如何合并两个文件中的字段?

可以参考通过唯一标识符连接 CSV 文件指南。如果还不确定应该纵向追加行,还是根据共享键横向添加列,请先查看合并与连接示例,再选择合适的组合操作。

当你的问题是下面这样时,请使用去重流程:

一个或多个文件中有哪些重复记录?

可以参考删除 CSV 重复记录指南。

区分这些流程很重要,因为它们解决的问题不同。CSV Diff 用于比较快照并导出差异,它既不是模糊匹配工具,也不是 merge 工具。

常见问题与特殊情况

行显示为新增和删除,而不是变更

先检查键列。如果两个文件中的键发生了变化,Datablist 就无法把两行识别为同一条记录。还要检查文件顺序:如果 Original CSV 和 Updated CSV 被颠倒,新增和删除状态也会反过来。

过多单元格显示为已变更

检查比较选项。如果空格不重要,请启用首尾空格清理;如果大小写不重要,请使用不区分大小写的比较;如果空白和占位符应视为相同,请启用空值标准化;同时检查重命名字段的列映射是否正确。

两个文件的列名不同

使用手动映射。只有字段含义相同时才进行映射;如果无关列不应影响比较结果,请不要映射它们。

出现重复键

把重复键视为需要人工检查的信号。结果仍可能有用,但重复键说明所选标识符不够唯一。在根据统计结果执行导入之前,请先清理源文件或选择更可靠的键。

文件处理缓慢或预览内容有限

大型文件的处理速度取决于浏览器和设备性能。可以使用预览进行检查,需要完整结果时再下载 CSV diff。

CSV 解析失败

检查是否存在未闭合的引号字段、非常规分隔符或编码问题。一个未正确闭合的引号字段就可能导致整个 CSV 无法解析。

总结

比较两个 CSV 导出文件的最佳方式,是把它们当作结构化数据,而不是纯文本。将旧文件上传为 Original CSV,将新文件上传为 Updated CSV,选择稳定的键,映射需要比较的列,检查每行状态,再导出 diff。

我的默认设置很简单:full outer join、稳定的键、清理首尾空格、统一处理类似 null 的值,并在第一次审核时导出完整 diff。

你可以使用 Datablist 的 CSV Diff tool 完成整个流程。

FAQ

如何在线比较两个 CSV 文件?

打开 Datablist 的 CSV Diff tool,将较早的文件上传为 Original CSV,将较新的文件上传为 Updated CSV,选择键列,检查比较结果,然后下载 diff CSV。

能否通过 ID、email、SKU 或 EAN 比较 CSV?

可以。把两个文件共有的标识符设为键列。合适的键包括记录 ID、email 地址、SKU、EAN、内部 ID、公司 ID,以及其他在不同导出文件之间保持稳定的值。

如果两个文件中的行顺序不同怎么办?

使用基于键的匹配。只要通过稳定的键匹配记录,两个文件中的行顺序就不需要一致。

能否比较列名不同的 CSV 文件?

可以。列名不同时进行手动映射。例如,如果一个文件使用 customer_id,另一个文件使用 Customer ID,并且它们表示同一标识符,就可以把两列映射起来。

CSV diff 最适合使用哪种 join 类型?

第一次审查建议使用 full outer join。它会显示匹配行、新增行和删除行。只有当你仅关注两个文件中都存在的记录时,才使用 inner join。

能否忽略空格、大小写或空白值?

可以。你可以清理首尾空格、使用不区分大小写的文本比较,并将空白或类似 null 的占位符视为相等。我通常会启用空格清理和空值标准化。

能否只导出发生变化的行?

可以。如果需要更精简的审核文件,请使用 Changed rows 输出。不过,我仍建议先导出一次完整 diff,以便验证比较是否正确。

added、removed、changed 和 unchanged 分别是什么意思?

added 表示该键只存在于 Updated CSV;removed 表示该键只存在于 Original CSV;changed 表示该键存在于两个文件中,但映射值不同;unchanged 表示该键存在于两个文件中,且映射值一致。

CSV 文件会上传到服务器吗?

CSV 文件会直接在浏览器中解析和比较。应把它视为基于浏览器的比较工具,而不是 Datablist collection 的导入或同步流程。

该工具能否比较大型 CSV 文件?

可以,但超大型文件的性能取决于你的浏览器和设备。为了保持响应速度,预览内容会受到限制;可下载的 CSV 则会根据完整比较结果生成。

CSV diff 中重复键代表什么

一个键应在每个文件中唯一标识一条记录。如果原始文件中有两行的键都是 SKU-101,工具会把第一次出现的记录与更新文件中的第一条匹配记录配对,并标记重复键。多出的原始行会在 full join 或 left join 中显示为 removed;多出的更新行则会在 full join 中显示为 added。这些状态只描述比较结果,并不能证明业务上确实发生了删除或创建。

在把这些行视为导入指令之前,我会先解决键的问题。例如,如果同一个 SKU 对应两个供应商报价,就需要使用 SKU 加 Supplier ID 作为组合键。如果这些行只是意外产生的重复数据,请先检查并合并它们。不要为了消除警告而随意删除其中一条。

还要确保不同快照使用相同的键格式。标识符从 00101 变为 101 时,可能会被识别成一条删除记录和一条新增记录。如果前导零有实际意义,请在源文件中保留它们,然后使用预期的键和列映射重新运行比较。