要在线编辑大型 CSV 文件,先将它导入 Datablist collection,检查各列的数据类型,完成修改后再导出新的 CSV。你可以在同一个 workspace 中搜索、筛选和编辑单元格,还能合并重复项。

请保留原始文件,并验证导出的副本。 对大型文件来说,确保导入完整与正确编辑同样重要:请核对导入的记录数,并将邮政编码、账户 ID 等标识符保留为文本格式。

电子表格工具通常存在行数、单元格数量和内存限制,可能无法打开大型 CSV。列数和每个字段值的长度也会影响文件所需的内存。

Google Sheets 无法处理大型 CSV 文件的错误提示
Google Sheets 无法处理大型 CSV 文件的错误提示

本指南将介绍:

查看与编辑 CSV 文件

本指南重点介绍如何编辑数据行并导出修改后的文件。Datablist 还支持搜索和筛选已导入的数据。如果你只是想查找某个值,可能不需要走完整的编辑流程。

如果不想使用大数据工具,Linux 和 macOS 用户也可以免费使用 Terminal。请参阅:如何通过 Linux 或 macOS Terminal 搜索大型 CSV 文件。

使用 Datablist 在线编辑大型 CSV 文件

Datablist 是一款在线数据编辑器,无需安装第三方软件,直接在浏览器中即可打开 CSV 文件。Datablist 利用现代浏览器提供的数据库功能运行(查看文档了解详情)。

Free plan 的每个 collection 最多支持 100 万条数据。付费方案支持更大规模的导入;上传文件前,请查看 import assistant 中显示的上限,并对比当前方案。浏览器内存、可用存储空间以及单个字段值的大小,也会影响大型文件导入的实际可行性。

第 1 步:创建 collection 并导入 CSV 文件

注意
使用 Datablist CSV editor 打开大型 CSV 文件需要先注册账户。请在继续操作前完成注册。

要将 CSV 文件导入 Datablist,请创建一个空 collection,然后使用 Import CSV/Excel assistant 加载文件。

创建新的 collection
创建新的 collection
选择 CSV 文件
选择 CSV 文件

选择要导入的 CSV 列,并确认系统识别的数据类型。Datablist 会读取文件开头的若干行,并判断每一列的数据类型。数据类型会直接影响后续对 collection 的排序和筛选,因此务必正确设置。

检查 CSV 列的数据类型
检查 CSV 列的数据类型

检查预览数据,然后点击 Import 开始导入。

CSV 导入进度
CSV 导入进度

注意
导入耗时取决于文件、浏览器和设备。请保持标签页开启并留意进度。如果在导入完成前中止操作,请先核对已导入的行数,再决定如何继续。

第 2 步:在线编辑大型 CSV 文件

导入过程中,Datablist 会将 CSV 解析为 collection items。大型本地 collection 使用浏览器存储,刷新页面后数据仍会保留,但清除网站数据可能导致数据丢失。请保留原始 CSV,并在编辑完成后导出副本。了解本地存储与云端同步的区别。

在 Datablist 中,你可以使用一个或多个条件筛选 CSV 文件,也可以进行“全文”搜索。

💡 提示
搜索和筛选性能取决于 collection 的规模及你的设备。编辑前先缩小数据范围,并在导出前确认需要的是筛选后的数据行,还是整个 collection。

筛选和搜索 CSV 数据
筛选和搜索 CSV 数据

编辑数据项

你可以通过类似电子表格的界面编辑数据项。在单元格上按 Enter 即可修改内容。日期时间字段可使用日历选择,较长的文本则可以在大型文本框中编辑。

直接在浏览器中编辑 CSV 文件的单元格

点击数据行左侧的展开按钮,即可打开该数据项的详情抽屉。

查看并编辑 CSV 数据项详情
查看并编辑 CSV 数据项详情

合并重复数据项

Datablist 提供多种高级数据编辑功能,其中之一就是 Duplicates Finder。

查找并删除重复值
查找并删除重复值

去重算法会比较一个或多个属性中的值,并列出所有重复项。在重复项列表中,你可以自动合并所有不存在冲突的数据项。对于其余存在冲突的数据,可使用 merging assistant 逐一处理。阅读相关指南,了解如何删除 CSV 文件中的重复数据,或如何合并 Excel 文件中的重复行。

如果某列包含多个邮箱、标签或 ID,请先将这些值拆分为单独的数据行,再进行去重或导出。

合并数据项

你可以直接在数据列表视图中合并数据项。选中要合并的条目,然后点击 Merge items。

在列表中选择并合并数据项
在列表中选择并合并数据项

系统会比较所有选中的数据项,并将信息最完整的一项设为“Primary Item”。随后,其他数据项中不冲突的值会被填入 Primary Item 的空白属性。确认合并后,除 Primary Item 外的其他数据项都会被删除,Primary Item 则会保留合并后的完整数据。

手动合并 assistant
手动合并 assistant

第 3 步:导出编辑后的 CSV 数据

完成修改后,你可以继续将数据保存在 Datablist 中,也可以导出为 CSV 或 Excel 文件。

导出数据
导出数据

你可以通过以下选项配置导出内容:

  • Properties to export - Collection Properties 可以在数据列表中隐藏。只要至少有一个属性被隐藏,exporter 就会让你选择导出全部属性,还是仅导出当前可见的属性。
  • The export format - 可选择 CSV 或 Excel。
  • Column Delimiter - 导出 CSV 时,可以选择“Comma”或“Semicolon”作为列分隔符。
Exporter 设置选项
Exporter 设置选项

重要
Excel 单元格最多可容纳 32,767 个字符,每个 worksheet 也有行数上限(参见 Excel 的最大行数是多少)。如果 collection 超过单个 Excel worksheet 的行数限制,建议使用 CSV 格式。

检查导出的 CSV 文件

在替换源文件之前,请重新打开导出文件的副本,并检查以下内容:

  • 记录数是否与所选导出范围一致:全部数据项、选中的数据项或筛选后的数据项。
  • 标识符的前导零是否仍然保留,较长的字段值是否完整。
  • 随机检查几行已编辑的数据,确认修改符合预期,同时无关数据行没有发生变化。
  • 分隔符和列顺序是否符合接收该文件的系统要求。

例如,你从一个包含 20 万行数据的联系人列表中筛选出 2,000 个联系人,以修正公司名称。此时需要先确认:你要导出这 2,000 个联系人,还是修改后的完整列表。这是两种不同的导出结果。

处理更大的 CSV 文件

拆分 CSV 文件并合并处理结果

如果 CSV 超过当前方案的导入上限,请将它拆分为多个低于该限制的文件,并分别存入不同的 collection。务必核对每个分片导入后的记录数,避免把不完整的导入误认为全部数据。逐个编辑并导出后,再按需合并处理结果。

文件拆分后,检查范围也会随之改变。 同一个重复项可能分别出现在两个文件中。如果你的目标是数据去重,就必须检查跨文件的重复数据,不能因为每个分片单独完成了清理,就认为合并后的结果一定没有重复项。

要拆分大型 CSV 文件,可以使用 Datablist 免费的 CSV Splitter。它支持按行数、文件大小、列值、规则或日期范围拆分。

重要
要将拆分后的小型 CSV 导入 Datablist,每个文件都必须包含表头行。请在 CSV Splitter 中启用将表头复制到每个拆分文件的设置。

在线拆分大型 CSV 文件
在线拆分大型 CSV 文件

按照上面的教程编辑拆分后的小型 CSV 文件。

完成后,再使用其他在线工具将所有 CSV 文件合并为一个文件。ExtendsClass 提供了一款实用的在线 CSV 合并工具。

在线合并 CSV 文件
在线合并 CSV 文件

Mac 和 Linux 用户的替代方案

Mac 和 Linux 用户还可以选择 Visidata。

Visidata 是一款免费工具,通过 Terminal 显示 CSV 文件并与其中的数据交互。对于非技术用户来说,它可能有些吓人……但如果你想挑战一下自己,不妨试试看!

Visidata 界面截图
Visidata 界面截图

FAQ

Google Sheets 的行数上限是多少?

Google 当前的文件限制显示,在 Google Sheets 中创建或转换的电子表格最多可包含 2,000 万个单元格,文件大小上限为 100 MB。单元格数量上限并不等同于固定的行数限制:实际可用行数取决于列数以及 workbook 中的其他 worksheet。

例如,50 万行数据、每行 20 列,在不计算表头和其他 worksheet 的情况下,就已经占用约 1,000 万个单元格。即使没有超过单元格上限,也不代表所有计算或编辑操作都能在你的设备上流畅运行。

Airtable 的记录数上限是多少?

Airtable 会统计一个 base 中所有 table 的记录总数。其当前 workspace 限制为:Free 方案 1,000 条、Team 方案 50,000 条、Business 方案 125,000 条;Enterprise Scale 的限制有所不同。使用 Airtable 处理大型 CSV 前,请先确认你的方案上限。

Excel 的最大行数是多少?

根据 Microsoft Support,一个 Excel worksheet 最多支持 1,048,576 行,其中包括表头行。

此外,每个单元格最多只能包含 32,767 个字符。

大型 CSV 文件适合用 Apple Numbers 吗?

使用 Apple Numbers 大规模编辑 CSV 前,请先确认 Numbers 版本,并使用文件副本进行测试。导入数据可能超过应用限制;即使文件能够打开,实际编辑体验也可能很差。保存修改前,请将导入后的记录数与源文件进行对比。

Apple Numbers 行数限制
Apple Numbers 行数限制

有可以测试 Datablist 的 CSV 示例文件吗?

当然!访问我们的 CSV 示例文件页面,即可下载最多包含 200 万条记录的 CSV 文件。