当你需要在线比较 CSV 文件时,首先要避免的就是直接做纯文本 diff。CSV 是结构化数据:行的位置会变化,列名可能被重命名,新的导出文件也可能增加字段。逐行比较很快就会产生大量无效差异。
我更倾向于把两个文件当作表格来比较:选择一个稳定的键,映射需要比较的列,检查新增、删除、变更和未变更的行,最后导出 diff。这正是 Datablist CSV Diff tool 的用途。
本教程将比较一份较早的商品目录导出文件和一份较新的供应商报价文件。两个文件的列并不完全相同,但都包含 EAN、Internal ID、Price 和 Stock。这是一个很典型的场景:通过 EAN 匹配商品,比较价格和库存,再导出结果。
快速导航
- 最快的 CSV 文件比较流程
- 示例数据集
- 第 1 步:上传原始和更新后的 CSV 文件
- 第 2 步:选择行匹配方式
- 第 3 步:映射名称不同的列
- 第 4 步:选择连接类型和比较选项
- 第 5 步:检查差异
- 第 6 步:导出 CSV diff 结果
- 输出表示例
最快的 CSV 文件比较流程
如果两个文件已经准备好,整个流程很简单:
- 打开 Datablist 的 CSV Diff tool。
- 将较早的文件上传为 Original CSV。
- 将较新的文件上传为 Updated CSV。
- 先使用自动检测,再确认用于匹配的键列。
- 如果两个文件使用不同的列名,请手动映射列。
- 首次检查时保留 full outer join。
- 检查变更、新增、删除和未变更的行。
- 第一轮先导出完整 diff CSV。
- 如果交接文件需要更精简,再切换为仅导出变更行。
这种方式比文本 diff 更可靠,因为它比较的是记录,而不是行号。如果 CRM 导出文件重新排列了联系人,或者供应商增加了一个新字段,文本 diff 可能会让整个文件看起来都发生了变化。表格 diff 则能准确告诉你哪些记录以及哪些单元格发生了变化。
🔑 先选定行键,再判断 diff 是否可信
合适的键列能把杂乱的比较结果变成真正有用的信息。请选择在两次导出之间保持稳定的 ID、email、SKU、EAN 或内部标识符。
示例数据集:Products CSV 与 Offers CSV
本教程使用一组虚构的电商数据。第一个文件是较早的商品目录导出,第二个文件是较新的供应商或电商平台报价 feed。
原始 Products CSV 如下:
| 序号 | EAN | 内部 ID | 名称 | 品牌 | 分类 | 价格 | 币种 | 库存 | 供货状态 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 5901234123457 | PRD-001 | 密封水瓶 | Acme Outdoor | 户外用品 | 24.90 | EUR | 42 | 有货 |
| 2 | 5901234123464 | PRD-002 | 便当盒 | Northline | 厨房用品 | 18.50 | EUR | 120 | 有货 |
| 3 | 5901234123471 | PRD-003 | 棉质托特包 | Urban Goods | 配饰 | 9.90 | EUR | 0 | 缺货 |
| 4 | 5901234123488 | PRD-004 | LED 台灯 | Luma | 办公用品 | 39.00 | EUR | 18 | 有货 |
| 5 | 5901234123495 | PRD-005 | 瑜伽垫 | BalanceFit | 运动用品 | 29.00 | EUR | 65 | 有货 |
| 10 | 5901234123549 | PRD-010 | 无线鼠标 | ClickPro | 电子产品 | 34.00 | EUR | 55 | 有货 |
更新后的 Offers CSV 描述字段较少,但仍包含本次比较所需的标识符和商业数据:
| 报价 ID | EAN | 内部 ID | 供应商 SKU | 库存 | 价格 |
|---|---|---|---|---|---|
| OFF-001 | 5901234123457 | PRD-001 | ACM-BTL-01 | 38 | 23.90 |
| OFF-002 | 5901234123464 | PRD-002 | NTH-LBX-02 | 120 | 18.50 |
| OFF-003 | 5901234123471 | PRD-003 | UGD-TOTE-03 | 25 | 9.90 |
| OFF-004 | 5901234123488 | PRD-004 | LMA-LAMP-04 | 18 | 35.00 |
| OFF-005 | 5901234123495 | PRD-005 | BFT-MAT-05 | 65 | 29.00 |
| OFF-008 | 5901234123556 | PRD-011 | CLP-CAB-11 | 44 | 16.50 |
这组文件包含了 CSV diff 示例中常见的几类情况:数值变化、新增行、删除行、未变更行以及不同的表结构。对于完整样本,预计 PRD-001、PRD-003、PRD-004、PRD-006 和 PRD-010 会被标记为变更;PRD-011 和 PRD-012 会被标记为新增;PRD-008 和 PRD-009 会被标记为删除。
第 1 步:上传原始和更新后的 CSV 文件
打开 CSV Diff tool,你会看到两个上传区域:
- Original CSV:较早的导出文件、旧快照或基准文件。
- Updated CSV:要与原始文件比较的较新导出文件。
文件顺序很重要。如果某行只存在于更新文件中,Datablist 会将其标记为 added。如果某行只存在于原始文件中,则会被标记为 removed。
在这个商品示例中,我把 Products CSV 上传为 Original CSV,因为它是较早的商品目录;把 Offers CSV 上传为 Updated CSV,因为它代表较新的供应商 feed。
选择两个文件后,工具会解析文件并准备第一次比较。CSV 文件会直接在浏览器中解析和比较。解析器可识别逗号、分号、制表符和竖线等常见分隔符,也支持 UTF-8、Windows-1252 等常见编码。
查看结果前,我仍会再次确认文件顺序。很多错误的 CSV 比较都是因为颠倒了新旧文件,随后又把新增和删除行反向理解。
第 2 步:选择行匹配方式
行匹配是整个流程中最重要的设置。
Datablist 可以先进行自动检测。它会寻找可能的标识符列,例如 id、email、sku、uuid、external_id、record_id、user_id、contact_id 和 company_id。
对于商品数据,我通常优先选择:
- 有值且唯一时使用
EAN。 - EAN 缺失、重复或因供应商而异时使用
Internal ID。 - 只有两个文件使用相同 SKU 时才使用
SKU。
对于 CRM 或 Lead 文件,对应的键可能是 email、contact_id、company_id 或 CRM 记录 ID。
匹配模式取决于数据结构:
- 大多数导出文件适合单键匹配。一个稳定的列更容易检查。
- 当单列不够唯一时,使用多键匹配,例如
Company Domain加Email。 - 没有稳定标识符时,才使用整行比较。
- 第一轮可以使用自动检测,但在采信统计结果之前,一定要确认检测到的键。
⚠️ 不可靠的键会制造大量虚假的新增和删除行
如果键在两次导出之间缺失、重复或格式发生变化,同一条记录可能显示为一条删除记录和一条新增记录。使用结果执行更新前,请先检查重复键标记。
出现重复键并不意味着 diff 完全不可用,但它提醒你需要谨慎检查。工具会标记重复键;在采信统计数量之前,我会先人工核查这些记录。
第 3 步:映射名称不同的列
列映射决定要比较哪些字段。
在商品示例中,两个文件都包含 EAN、Internal ID、Stock 和 Price。原始文件还包含 Name、Brand、Category、Currency 和 Availability,更新文件则包含 Offer ID 和 Supplier SKU。
我不希望供应商文件独有的 metadata 被误判为变更,只需要比较能够回答业务问题的列:
- 使用
EAN匹配行。 - 将
Stock与Stock比较。 - 将
Price与Price比较。 - 有助于检查记录时,保留描述性列作为上下文。
- 与比较无关的字段不做映射,避免影响结果。
列名相同时,Datablist 可以按名称自动对齐,列的顺序无需一致。当字段标签发生变化时,就需要手动映射。例如,一份 CRM 导出使用 customer_id,另一份使用 Customer ID。只有当两者表达相同含义时才应建立映射。
💡 只映射真正需要比较的列
供应商 feed 和 CRM 导出经常会增加 metadata 字段。如果某个字段不应被计入变更,请不要映射它,或者只在检查时把它作为上下文使用。
这一步看似简单,却往往最能节省时间。选错键会导致行匹配错误,列映射错误则会导致变更数量失真。
第 4 步:选择连接类型和比较选项
首次运行时,建议采用以下设置:
- Full outer join。
- 一个稳定的键列。
- 忽略开头和结尾的空格。
- 统一处理空值和类似 null 的值。
- 默认区分大小写,除非大小写本身并不重要。
Full outer join 是最合适的默认选项,因为它会显示所有内容:匹配行、新增行和删除行。你可以先完成全面审查,再逐步缩小结果范围。
连接类型会决定结果中显示哪些记录:
- Full outer join 显示匹配行、仅存在于原始文件中的行,以及仅存在于更新文件中的行。
- Inner join 只显示两个文件中都存在的记录,适合只关注共有记录变化的场景。
- Left join 以原始文件为基础,不显示仅存在于更新文件中的行。
比较选项可以减少纯格式差异带来的噪音:
- Ignore whitespace 会在比较单元格前去除首尾空格。
- Ignore case 会将
Acme和ACME视为相同。 - 空值和类似 null 的值标准化会把空白、
null、undefined、nil、none、n/a和na视为等价占位符。
如果某种占位符在你的数据中具有实际含义,请关闭标准化。假设原始记录包含 id = 101 和 Region = NA,其中 NA 表示 North America;更新后的记录 ID 相同,但 Region 为空。启用 Normalize empty and null-like values 后,这两个 Region 值会被视为相同;如果其他映射值也没有差异,该行就可能显示为 unchanged。
要识别这项变化,请关闭该设置,继续以 id 作为键并映射 Region,然后重新运行。该行应显示为 changed,完整 diff 导出中会并列显示 NA 和空值。由于此选项会应用于所有被比较的列,最好先检查一条类似记录,再决定是否对整个文件启用标准化。
📘 第一次审查使用 full outer join
先全面检查,再缩小范围。确认新增、删除和变更数量合理后,再导出更精简的变更行文件供团队审核。
处理大型文件时,浏览器和设备性能会影响速度。为了保证响应流畅,预览内容会受到限制,但可下载的 CSV 会基于完整结果生成。如果文件太大、难以顺畅比较,可以先把大型 CSV 拆分成多个较小的审核文件。
第 5 步:检查新增、删除、变更和未变更的行
比较完成后,先查看每一行的状态:
added:该键只存在于 Updated CSV。removed:该键只存在于 Original CSV。changed:该键在两个文件中都存在,但至少一个映射值发生了变化。unchanged:该键在两个文件中都存在,且标准化后的映射值一致。
商品示例提供了几种清晰的情况:
PRD-001发生变化,因为Price从24.90变为23.90,Stock从42变为38。PRD-003发生变化,因为库存从0增加到25。PRD-011被标记为新增,因为它的 EAN 只出现在 Offers CSV 中。PRD-008被标记为删除,因为它的 EAN 只出现在 Products CSV 中。
可以使用状态筛选器集中检查结果。我通常先看 Changed,再检查 Added 和 Removed。除非需要完整的审计记录,否则我会把 Unchanged 留到最后。
变更行视图适合检查单元格级差异。它会针对每个发生变化的列,并排显示原始值和更新后的值。
导出前,我会快速完成以下质量检查:
- 新增和删除数量是否合理?
- 工具是否使用了预期的键匹配行?
- 是否存在重复键标记?
- 列映射是否正确?
- 本应忽略的纯格式变化是否已被排除?
- 展开查看几条变更行后,差异是否符合预期?
汇总区域还能帮助你快速复核。它会显示处理详情、映射列、重复键标记以及各状态的数量。
如果数量看起来异常,先不要导出。请返回检查键和列映射,大多数问题都出在这两个环节。
第 6 步:导出 CSV diff 结果
确认预览结果正确后,即可导出。Datablist 会根据不同需求提供多种输出模式:
- Summary CSV:适合查看行状态、键、数量以及便于审计的概要。
- Changed rows CSV:适合只需要审核差异记录的团队成员。
- Full diff CSV:适合并排查看原始值和更新值。
第一次运行时,我更倾向于导出 Full diff CSV。它保留了更多上下文,方便日后解释某项变更。流程验证无误后,再改用 Changed rows CSV,生成更精简的文件。
你还可以选择分隔符:
- 大多数电子表格流程使用逗号。
- 当本地格式或下游系统有要求时使用分号。
- 对于要求特定格式的工具,可使用竖线或制表符。
该工具支持复制差异 CSV,也可以直接下载。下载文件遵循以下命名格式:
csv-diff-{originalBase}-vs-{updatedBase}.csv如果导出结果较大,需要在分享前筛选或编辑,可以参考 Datablist 的在线编辑大型 CSV 文件指南。
输出表示例
以下是商品示例中完整 diff 导出结果的一小部分。
| status | key | changed_columns | original:Price | updated:Price | original:Stock | updated:Stock |
|---|---|---|---|---|---|---|
| changed | 5901234123457 | Price|Stock | 24.90 | 23.90 | 42 | 38 |
| changed | 5901234123471 | Stock | 9.90 | 9.90 | 0 | 25 |
| added | 5901234123556 | 16.50 | 44 | |||
| removed | 5901234123525 | 7.50 | 88 |
导出的 CSV 可以包含:
status:新增、删除、变更或未变更。key:用于匹配行的值。__row_index_original:记录存在于 Original CSV 时的行号。__row_index_updated:记录存在于 Updated CSV 时的行号。__duplicate_key:所选键是否出现多次。changed_columns:发生变化的字段。changed_columns_count:发生变化的字段数量。summary:便于阅读的变更摘要。original:{column}和updated:{column}:用于并排检查的原始值与更新值。
我喜欢这种格式,因为它很适合交接。接收者无需重新运行比较,就可以筛选 status = changed、按 changed_columns_count 排序,或单独查看新增和删除记录。
哪些场景适合这样比较 CSV 文件
只要你有两个数据快照,并希望了解其中发生了什么变化,就适合使用这一流程。常见场景包括:
- 更新商品目录的价格和库存。
- 导入新报价前检查供应商 feed。
- 对比清理前后的 CRM 导出。
- 更新 Lead 名单。
- 比较库存快照。
- 审核交接的电子表格。
- 比较通过 JSON 转换流程生成的 CSV 导出文件。
例如,你可以先把嵌套 JSON 转换为 CSV,再使用 CSV Diff 比较两次生成的导出结果。如果正在为 CRM 准备记录,可以在执行更全面的数据清洗之前先运行 diff,明确哪些行发生了变化。
比较、连接还是去重:选择正确的 CSV 流程
比较 CSV 与连接或去重文件并不是一回事。当你的问题是下面这样时,请使用 CSV Diff:
两个数据快照之间发生了哪些变化?
当你的问题是下面这样时,请使用 join 流程:
如何合并两个文件中的字段?
可以参考通过唯一标识符连接 CSV 文件指南。如果还不确定应该纵向追加行,还是根据共享键横向添加列,请先查看合并与连接示例,再选择合适的组合操作。
当你的问题是下面这样时,请使用去重流程:
一个或多个文件中有哪些重复记录?
可以参考删除 CSV 重复记录指南。
区分这些流程很重要,因为它们解决的问题不同。CSV Diff 用于比较快照并导出差异,它既不是模糊匹配工具,也不是 merge 工具。







