清理网页抓取数据时,首先保留原始值,再规范后续需要使用的字段,检查重复记录,并在导出前验证联系信息。

我通常会先复制一份源文件,因为看起来更整洁的数据也可能丢失关键信息。例如,URL 查询参数可能用于区分产品变体,而开头的 0 也可能是账号 ID 的一部分。因此,请在清洗字段旁保留源 URL 和原始文本。

对于抓取到的联系人名单,建议按以下顺序处理:

  1. 导入数据并检查系统建议的列类型。标识符应保留为 Text。
  2. 清除描述文本中的 HTML 和多余空格,然后仅规范筛选或匹配所需的字段。
  3. 确认日期和数量的格式后,再进行类型转换。
  4. 使用 Email 等可靠标识符匹配重复项,再决定保留哪些值。
  5. 检查 Email 格式和域名信息,审核异常项,然后导出清洗后的名单。

下面介绍的工具可帮助你直接在 Datablist 中完成每一步,无需编写公式。示例还会说明:将转换应用到整个 collection 之前,应重点检查哪些值。

以下是本文涉及的数据清洗操作概览:

从 CSV 导入或粘贴数据

Datablist 是一款非常适合数据清洗的工具。它是一款在线 CSV 编辑器,提供数据清洗、批量编辑和数据 enrichment 功能。 而且每个 collection 都能处理数百万条记录。

打开 Datablist,创建一个 collection,然后上传包含抓取数据的 CSV 文件。

如需新建 collection,请点击侧边栏中的 + 按钮,再点击 "Import CSV/Excel" 上传文件。你也可以点击入门页面上的快捷入口,直接进入文件导入步骤。

创建 collection
创建 collection

自动识别数据格式

如果数据格式规范,Datablist 的导入助手会自动识别 Email 地址、ISO 8601 格式的 Datetime、Boolean、Number、URL 等类型。

自动识别数据类型
自动识别数据类型

如果数据需要更复杂的分析,例如 Datetime 格式特殊,或者 URL、Email 地址中存在拼写错误,请先将其导入为 Text 属性。下一节会介绍如何将 Text 属性转换成 Datetime、Boolean 或 Number。

选择数据类型
选择数据类型

将文本转换为 Datetime、Boolean、Number

近藤麻理惠说过:“人生真正的开始,是在整理之后。”抓取数据也是如此:“把数据整理好,Sales 才真正开始!”😅

当日期(创建日期、融资日期等)、数字(价格、员工人数)或 Boolean 以原生对象而非普通文本存储时,筛选起来会轻松得多。

从 "Clean" 菜单中打开 "Text to Datetime, Number, Checkbox" 工具。

将 Text 转换为数据类型
将 Text 转换为数据类型

将任意文本转换为 Datetime

Datetime 有一种通用的国际格式 ISO 8601,其结构已有明确定义。如果你的数据采用 ISO 8601 格式,导入时系统会自动创建 Datetime 属性来存储这些数据。

对于其他格式的 Date 和 Datetime 值,你需要指定当前使用的格式,以便 Datablist 将其转换为结构化的 Datetime 值。

选择要转换的属性,再选择 "Convert to Datetime"。

将 Text 转换为 Datetime
将 Text 转换为 Datetime

你可以从常见格式中选择,包括 Google Sheets 和 Excel 使用的 Datetime 格式;也可以选择 "Custom format",自行定义格式。

自定义 Datetime 格式
自定义 Datetime 格式
Datetime 转换预览
Datetime 转换预览

👉 查看文档,进一步了解自定义 Datetime 格式。

将文本值转换为 Checkbox(Boolean)

导入时,Datablist 会自动把包含 "Yes, No"、"TRUE, FALSE" 等值的列转换为 Checkbox 属性。如需处理更复杂的转换,请使用转换工具。

定义需要转换成选中状态的值,并用逗号分隔。其他值将保持未选中状态。

Checkbox 转换设置
Checkbox 转换设置
Checkbox 转换预览
Checkbox 转换预览

从文本中提取数字

使用 "Text to number" 转换工具可以:

  • 使用自定义小数点和千位分隔符规范数字
  • 从含有字母的文本中提取数字
数字转换
数字转换
数字转换预览
数字转换预览

👉 查看文档,进一步了解数字转换。

清洗数据

将 HTML 转换为纯文本

Scraping 工具会解析 HTML 代码,因此抓取到的文本中可能残留 HTML 标签。

HTML 代码包含链接、图片和项目列表,并通过段落和多行结构组织内容。

我们的目标是保留 HTML 带来的部分结构,同时把难以阅读的代码转换成纯文本。

Datablist 的 HTML to Text 转换工具会保留换行,并把项目符号转换为以 - 开头的列表。

如需将带有 HTML 标签的文本转换为纯文本,请在 "Edit" 菜单中打开 Bulk Edit 工具。

Bulk Edit 工具
Bulk Edit 工具

选择包含 HTML 标签的属性,再选择 "Convert HTML into plain text"。

通过 Bulk Edit 转换 HTML
通过 Bulk Edit 转换 HTML
HTML 转换为 Text
HTML 转换为 Text
HTML 转换为 Text 的结果
HTML 转换为 Text 的结果

删除多余空格

抓取数据的另一个常见问题是多余空格。这些空格可能来自换行、Tab,以及 HTML 中其他表示空白的字符。

Datablist 内置了清除多余空格的数据清洗工具。

  • 删除单词之间的多余空格
  • 删除空白行
  • 删除每行开头和结尾的空格

如需删除多余空格,请打开 "Edit" 菜单中的 "Bulk Edit" 工具,选择目标属性和 "Remove extra spaces" 操作。

删除多余空格的设置
删除多余空格的设置
删除多余空格
删除多余空格
删除多余空格的结果
删除多余空格的结果

统一英文大小写

调整文本大小写很简单。打开 "Edit" 菜单中的 "Bulk Edit" 工具。

选择要处理的属性,然后使用 "Change text case" 操作。

更改文本大小写
更改文本大小写

共有 4 种模式:

  • Uppercase - 将所有字母转换为大写。例如:john => JOHN
  • Lowercase - 将所有字母转换为小写。例如:API => api
  • Capitalize - 将每个单词的首字母大写。例如:john is a good man => John Is A Good Man
  • Capitalize only the first word - 仅将第一个单词的首字母大写。例如:john is a good man => John is a good man

删除文本中的符号

从 HTML 页面抓取或由用户输入的文本,例如 LinkedIn 个人资料标题,可能含有表情符号及其他会影响数据处理的字符。姓名末尾一个简单的表情符号,就可能导致去重算法无法识别重复项。

Datablist 内置了一个处理器,可删除数据中的各种非文本符号。

点击 "Edit" 菜单中的 "Bulk Edit",选择一个 Text 属性,再选择 "Remove symbols" 转换。

删除符号
删除符号

如果预览结果符合预期,即可运行转换来处理记录。

删除符号后的结果
删除符号后的结果

使用 Find and Replace 规范化数据

要对潜在客户名单进行细分,必须先规范数据。

  • 规范职位名称
  • 规范国家和城市
  • 规范 URL
  • 等等

你的目标是将一个包含自由文本的属性,整理成选项有限的标准化属性;或者将文本转换成更基础的形式,例如把带路径的 URL 转换为简单的 URL 域名。

Datablist 提供功能强大的 Find and Replace 工具,同时支持普通文本和正则表达式。

正则表达式虽然复杂,但功能非常强大。

以下是使用 RegEx 清洗数据的几个示例。

删除 URL 查询参数

有些 URL 参数用于追踪营销活动,另一些则用于选择产品、变体、搜索结果或页码。全部删除可能会导致不同记录被合并为同一个 URL。

请先复制源 URL 属性。只有在确认该列中的所有查询参数都可以删除时,才使用下面的表达式。例如,它可以从页面 URL 中删除 ?utm_source=newsletter,但同样也会从产品 URL 中删除 ?variant=blue。如果需要保留产品变体,请保留查询参数,或通过单独的转换仅删除特定追踪参数。

要删除整个查询字符串,请勾选 Match using regular expression,使用以下表达式,并将替换内容留空:

\?.*$
使用正则表达式删除查询参数
使用正则表达式删除查询参数

在预览中检查带查询字符串和不带查询字符串的 URL。确认它们仍指向预期页面后,再将转换应用于复制的 URL 属性。

删除查询参数后的预览
删除查询参数后的预览

从 Email 地址中提取域名

Find and Replace 的另一个用途是提取 Email 域名,也就是获取 @ 后面的部分。需要注意的是,它并不一定是企业官网域名,因为联系人可能使用个人邮箱服务商。

请先复制 Email 属性以保留源数据。对于仅包含一个纯 Email 地址的单元格,使用以下正则表达式,并将替换内容留空:

^[^@\s]+@(?=[^@\s]+$)

该表达式支持本地部分包含点号、加号和连字符。例如,jane.smith+sales@example.com 会变成 example.com。下方旧截图使用的匹配模式限制更多,请以本段提供的表达式为准。

请先删除地址前后的空格。包含显示名称、多个地址或格式错误 Email 文本的单元格,需要另行清洗。这个转换只能提取域名,并不能验证邮箱是否有效。

使用正则表达式提取 Email 域名
使用正则表达式提取 Email 域名
从 Email 地址提取域名的预览
从 Email 地址提取域名的预览

👉 查看 Find and Replace 文档,了解更多信息。

将 Full Name 拆分为 First Name 和 Last Name

抓取 Lead 名单时,你通常会获得联系人的 "Full Name",并需要将其拆分为 "First Name" 和 "Last Name"。准确地把姓名解析成不同组成部分,是数据处理中的关键一步。

拆分姓名字段有助于称呼联系人,以及将数据映射到 CRM。请保留完整姓名,以便检查错误的拆分结果;仅凭姓名无法确定一个人的性别或称谓。

姓名拆分可能很复杂。好在 Datablist 提供了简单易用的工具,可以空格为分隔符,将 "Name" 拆分成两个值。

首先,在 "Edit" 菜单中打开 "Split Property" 工具。

Split Property 工具
Split Property 工具

然后选择包含待解析姓名的属性,将分隔符设为 Space,并把最大拆分数量设为 2。

配置 Split Property
配置 Split Property

运行预览。Datablist 会解析前 10 条记录并生成预览。如果结果正确,请点击 "Split Property",对当前所有记录运行该算法。

运行预览
运行预览

拆分算法运行完成后,将新建的两个属性重命名为 "First Name" 和 "Last Name"。

First Name 和 Last Name 拆分结果
First Name 和 Last Name 拆分结果

本示例主要解析西方姓名,通常由 First Name 和 Last Name 组成。对于非西方姓名,情况可能更复杂,例如包含多个名字或姓氏,或者姓名中带有称谓和后缀。中文姓名通常姓在名前,也不适合直接按西方规则拆分。

数据去重

如果多行记录中都含有需要保留的信息,请打开 Clean > Merge duplicates。如果只想原样保留一行并删除其余记录,请使用 Remove duplicates。下方截图展示的是较早版本的菜单布局。

运行 Duplicate Finder
运行 Duplicate Finder

选择能够唯一标识一条记录的属性。我通常优先使用联系人 Email 或产品 URL,而不是只用企业名称。只要已有可靠的匹配键,就没必要规范化每个字段。

检查过程会创建可供审核的分组,不会直接修改数据。在结果 workspace 中,选择 Merge and preserve data,检查 Record to keep,并在 Resolve conflicting values 下配置规则。需要同时保留多个文本值时可进行合并;只有确定可以舍弃其他值时,才只保留一个值。

点击 Merge ready groups 前,请检查所有 Ready 分组。如果选择删除重复项,则要检查被删除行中是否存在额外数据,因为该模式不会把这些数据补充到保留行中。

自动合并
自动合并

👉 查看 CSV 文件重复项合并指南。

验证 Email 地址

抓取的数据可能已经过时,也可能存在拼写错误或无效值。 对于通过 Scraping 获得的 Email 地址,这类问题尤其常见。

如果数据由用户生成,数据库中可能会出现虚假 Email 地址,或来自临时邮箱服务商的地址。

Datablist 内置 Email 验证工具,可一次验证数千个 Email 地址。

点击 Enrich
点击 Enrich

这项免费的 Email 清洗服务会检查格式、临时邮箱域名;启用相关选项后,还会检查域名的 MX 记录。这些检查并不能证明某个具体邮箱真实存在,也不能保证邮件一定可以送达。 请保留工具返回的状态或原因,以便审核异常项。

该服务提供以下检查:

  • Email 格式分析 - 标记格式错误的地址,例如缺少 @ 符号,或域名格式无效的文本。
  • 临时邮箱服务商检查 - 第二项检查用于识别临时 Email。该服务会查找属于 Disposable Email Address(DEA,一次性邮箱)服务商的域名,例如 Mailinator、Temp-Mail、YopMail 等。
  • 域名 MX 记录检查 - 除非启用 Disable MX-records analysis,否则系统会查询域名的邮件服务器记录。DNS 查询失败或缺失的结果应与格式错误分开审核;这项检查针对域名,而非某个具体邮箱。
  • Business 与 Personal Email 地址细分 - 如果 Lead 来自 Lead Magnet,或者你需要细分用户群体,可能会希望区分 Business Email 和 Personal Email。Email 验证服务会提供相关信息,用于丰富联系人数据。
Email 验证结果
Email 验证结果

👉 查看 Email 名单清洗指南。

从抓取文本中提取人名或企业名称

从网站或其他来源抓取文本时,提取人名或企业名称通常很有价值。这些信息可用于 Lead Generation、竞品分析等多种场景。然而,从非结构化文本中提取名称并不容易,因为名称形式多样,而且可能隐藏在大段文本中。

名称提取的一大难点,在于不同文化和语言采用的命名习惯与格式差异很大。例如,有些文化习惯姓在名前,另一些则习惯名在姓前;有些人有多个名字,也有人没有名字。此外,名称还可能存在拼写错误、缩写或非标准格式,因此很难仅靠简单的模式匹配准确识别。

一种常见方法是使用 Named Entity Recognition(NER,命名实体识别)。这是一项自然语言处理技术,可以识别文本中的命名实体并进行分类。NER 模型能够通过训练识别人名、组织名称、地点等不同类型的实体,也可以针对不同命名规则和变体进行定制。

Datablist 内置强大的 "Named Entity Recognition"(NER)模型,可直接处理你的文本。该模型支持阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语和中文。

在 "Enrichments" 菜单中选择 "Entity name extraction"。

Entity Name Extraction
Entity Name Extraction

然后在输入选项中,选择需要从中提取名称的 Text 属性。

配置 Entity Name Extractor
配置 Entity Name Extractor

在输出设置中,针对每一种需要提取的名称类型,点击 "Create a new property" 按钮。

Datablist Entity Name extractor 可识别:

  • Organization Name:例如企业名称。
  • Person Name:Full Name 或 First Name/Last Name。
  • Location:提取城市、国家和地点。
添加用于存储名称的属性
添加用于存储名称的属性

然后运行 enrichment。

需要数据清洗方面的帮助?

我一直希望听到更多反馈,也愿意协助解决数据清洗问题。欢迎联系我,分享你的具体使用场景。