无需编写代码也能抓取 Amazon 商品:先从搜索结果页收集商品链接,再访问这些链接,提取所需字段。如果你已经有商品 URL 或 ASIN,可以直接从商品详情提取环节开始,无需再次抓取搜索结果。

建议先用一个搜索结果页和几个商品页面进行测试。扩大运行规模前,请检查站点、商品变体和价格标签。AI scraper 只能返回其能够访问的信息;一次任务成功运行,并不代表它抓取了全部搜索结果或所有商品字段。

本指南使用 Datablist 的 AI Agent - Site Scraper 创建商品链接数据行,再通过 AI Agent enrichment 为这些数据行补充详细信息。

本指南包含以下内容:

  1. 如何配置 Amazon 搜索结果抓取工具
  2. 从 Amazon 搜索结果中抓取商品链接
  3. 从 Amazon 商品页面提取详细信息

从搜索结果、商品 URL 或 ASIN 开始

根据你现有的数据选择输入方式:

  • **关键词或类目搜索:**打开目标 Amazon 站点,复制搜索结果 URL,然后按照步骤 1 和步骤 2 收集链接。
  • **商品 URL 列表:**每行导入一个 URL,然后直接进入步骤 3。
  • **ASIN 列表:**将 ASIN 保存为文本列,并同时保留站点域名。运行商品详情查询前,请确认对应的商品 URL。

Amazon 将 ASIN 定义为由 10 位字母和数字组成的商品标识符。商品 URL 通常会将它放在 /dp/ 之后。以示例 ASIN B0EXAMPLE01 为例,URL 格式可以是 https://www.amazon.com/dp/B0EXAMPLE01;这只是格式示例,并非真实商品,也不代表查询一定成功。

比较商品或去重时,请将站点与 ASIN 一并保留。不同变体可能拥有不同的标识符,而同一个商品链接也可能同时出现在广告位和自然搜索结果中。将两行数据视为同一商品前,请先核对所选尺寸、颜色或包装规格。

步骤 1:Amazon 商品抓取前的准备工作

抓取 Amazon 搜索结果时,你需要一款能够浏览不同页面并获取商品链接的工具。有些人称它为 Amazon 商品链接提取器,我们则称之为 AI Research Agent。

如需开始提取商品链接,请访问 Datablist.com 并注册账号。

Datablist 首页
Datablist 首页

接下来,在起始页点击 New Collection,或点击侧边栏中的 Create new collection 链接来创建一个 collection。

Datablist 起始页上的新建 collection 入口
Datablist 起始页上的新建 collection 入口

创建 Datablist collection 并为其命名后,你会看到如下页面。

Datablist 空白 collection
Datablist 空白 collection

💡 Datablist 是什么?

Datablist 是一款用于收集、清洗、丰富和审核结构化数据的 AI 电子表格。

你可以把它理解为增强版 Excel:它内置了 data sources、enrichments 和 AI agents,能够帮助你规模化处理任务,并简化传统电子表格难以胜任的工作流程。

打开 Amazon,复制搜索结果页的 URL。

本例使用的 URL 是 https://www.amazon.com/s?k=coffee+mug&crid=1UV1WPG69YYZM&sprefix=coffee+mug%2Caps%2C197&ref=nb_sb_noss_1

它通常以 https://www.amazon.com/s?k=XXX 开头。

Amazon 搜索 URL
Amazon 搜索 URL

此时你应该已经:

  1. 注册了 Datablist。
  2. 创建了一个 collection。
  3. 将 Amazon URL 复制到了剪贴板。

准备工作到这里就完成了 🙂

下面将介绍如何配置自动化流程,从 Amazon 搜索结果中提取商品链接。

步骤 2:抓取 Amazon 搜索结果

首先,从当前搜索页面收集商品链接,再将这些链接作为商品详情 enrichment 的输入。将两个阶段分开处理,更方便检查重复链接和缺失字段。

现在返回你的 Datablist collection,点击 See all sources。

用于抓取 Amazon 搜索结果的 Datablist collection
用于抓取 Amazon 搜索结果的 Datablist collection

点击 AI Agent - Site Scraper。

Datablist sources 中的 AI Agent - Site Scraper
Datablist sources 中的 AI Agent - Site Scraper

将 Amazon 搜索链接粘贴到 Url to scrape。

使用 AI Agent 抓取 Amazon 搜索结果的 URL 配置
使用 AI Agent 抓取 Amazon 搜索结果的 URL 配置

复制下面的 prompt,并粘贴到 Prompt 字段中。别忘了按需修改。

用于抓取 Amazon 搜索结果的 AI Agent prompt
用于抓取 Amazon 搜索结果的 AI Agent prompt
Amazon 商品链接提取模板

从提供的 Amazon 搜索结果页面中提取商品链接。每个商品 listing 返回一行数据,包括 Product Link;如果链接中能看到商品标识符,同时返回 ASIN。

使用商品的绝对 URL。排除导航链接、类目链接、未指向商品的广告,以及提供站点之外的链接。如果所选商品变体的标识符可见,请保留该标识符。

只使用当前页面中出现的链接。本次提取过程中,不得虚构商品,也不要访问商品详情页。如果页面出现验证挑战或没有可访问的 listing,请不要猜测链接,直接不返回商品数据行。

URL 设置决定起始页面。Prompt 应专注于从该页面提取记录;分页需要单独配置。

首次测试时,先不要开启 Enable Pagination。确认返回的链接与页面内容一致后,再启用该选项,并为下一次运行设置较小的 Max Pages 值。

AI Agent 抓取 Amazon 商品链接的分页设置
AI Agent 抓取 Amazon 商品链接的分页设置

📘 扩大抓取规模前先检查分页结果

该 source 会跟随它在当前页面中找到的下一页链接。页数上限只是停止抓取的预算,并不保证所有页面都能访问。在决定从哪里继续前,请先检查返回的 Page Scraped 输出。

接下来配置输出字段。

向下滚动并执行以下操作:

  • 在 Output Name 中粘贴 Product Link。
  • 在 Output Description 中粘贴 Link to the product。
  • 在 Output Type 中选择 URL。

然后点击 More。

AI Agent 抓取 Amazon 搜索结果的输出配置
AI Agent 抓取 Amazon 搜索结果的输出配置

添加第二个商品输出字段:将 ASIN 设置为 Text,并在描述中注明它是商品链接中可见的标识符。同时映射内置的 Page Scraped 输出,以便保留生成每行数据的搜索页面。自定义的 Error Message 字段不能替代对 source 运行错误状态的检查。

接着勾选 Advanced Settings 旁边的复选框。

AI Agent 抓取 Amazon 搜索结果的第二个输出配置
AI Agent 抓取 Amazon 搜索结果的第二个输出配置
  • 先使用当前默认的 LLM Model,然后检查样本结果。
  • 只有当任务确实需要更多步骤时,才调整 Max iterations。
  • 如果所需内容必须经过浏览器渲染才能显示,请使用 Website Scraper Option: Render HTML。该选项会增加成本,也无法保证能够访问被拦截的页面。

点击 Continue。

AI Agent 抓取 Amazon 搜索结果的高级设置
AI Agent 抓取 Amazon 搜索结果的高级设置

点击 ⊕ 图标,为每个输出添加新列。

点击 Run Import Now。

AI Agent 抓取 Amazon 搜索结果的列配置
AI Agent 抓取 Amazon 搜索结果的列配置

Source 运行结束后,请检查返回的链接和任务状态。运行时长和数据行数取决于可访问的页面、分页情况以及所选设置。

包含 Amazon 搜索结果抓取数据的 Datablist collection
包含 Amazon 搜索结果抓取数据的 Datablist collection

现在,我们已经讲完了如何抓取 Amazon 搜索结果。接下来看看如何从商品页面提取详细信息。毕竟,抓取 Amazon 不只是获取链接,还要收集每件商品的各项信息。

步骤 3:从 Amazon 商品页面提取详细信息

打开几个已返回的商品链接,确定数据集需要哪些字段。商品页面可能因站点、变体、库存状态和配送地区而有所不同。请根据页面上实际显示的标签定义输出。

  • 访问刚刚从搜索结果中提取的 3–4 个 Amazon 商品页面。
  • 选出要抓取的商品信息,并复制 2–3 个示例。
  • 根据要提取的商品信息修改 prompt。
  • 使用 Datablist 的 AI Agent 开始抓取。

下面带你一步步完成配置!

📘 理解字段标签

每件 Amazon 商品都有自己的详细信息,但同类商品(例如手机或鞋子)通常使用相似的属性描述,也就是字段标签。找到这些标签后,你就能明确告诉 AI 要查找哪些内容。

如果你想获取价格、商品名称、品牌、评分等基础信息,通常可以直接在 Amazon 商品页面顶部找到。接下来请这样操作:

  1. 将商品信息及其标签复制到备注中,用于配置提取规则。
  2. 为该商品信息设置标签,并附上 2–3 个同类商品示例。
  3. 确保该标签始终描述同一类信息。

示例:“- Brand (Adidas; Nike; Apple)”

要抓取的 Amazon 商品页面
要抓取的 Amazon 商品页面

如需获取更详细的信息,你需要向下滚动,查找 Amazon 页面提供的全部商品属性。可以按照以下流程操作:

  1. 复制左侧标签并粘贴到文档中。
  2. 复制右侧信息并粘贴到文档中。
  3. 附上 2–3 个同类商品的其他示例。
  4. 对每个要获取的字段重复以上步骤。

示例:“- Capacity (16 ounces; 300ml;)”

要抓取的 Amazon 商品详细信息
要抓取的 Amazon 商品详细信息

打开包含商品链接的 Datablist Collection,点击 Enrich。

用于抓取 Amazon 商品详情的 Datablist collection
用于抓取 Amazon 商品详情的 Datablist collection

进入 AI,选择 AI Agent。

Datablist AI enrichment 列表中的 AI Agent
Datablist AI enrichment 列表中的 AI Agent

复制下面的 prompt,并粘贴到 Prompt 字段中。你需要根据实际需求修改它!

Amazon 商品详情提取模板

访问提供的 Amazon 商品 URL,提取 Product Name、ASIN、Brand、Selected Variant、Displayed Price、Currency、Price Note、Availability Text 和 Evidence。只使用可访问商品页面上实际显示的信息。

Displayed Price 是与当前所选变体对应的现价。将划线参考价、优惠券和订阅优惠分别保存在 Price Note 中;不要用猜测出的原价替换页面显示价格。保留单位、包装数量和币种。

如果某个字段缺失,请将其留空。如果访问失败或页面出现验证挑战,不要根据记忆或搜索摘要填写商品字段。Evidence 应引用能够证明价格和变体的原文。

Product URL: {{Product Link}}

现在,请用你创建的输出描述替换示例中的输出描述。示例如下:

更新后的 Output Description
更新后的 Output Description

在 prompt 末尾,将 {{Product Link}} 映射到 source 运行结果或导入文件中的 URL 列。

Datablist AI Agent 抓取 Amazon 商品详情时的输入列映射
Datablist AI Agent 抓取 Amazon 商品详情时的输入列映射

然后向下滚动,配置 Outputs。

Outputs 的配置方法如下:

  • 在 Output Name 中粘贴你的标签名称。
  • 在 Output Description 中粘贴“As described in the prompt”。
  • 根据数据选择合适的 Output Type。

点击 More,并为每个要抓取的商品字段重复上述操作。

Datablist AI Agent 抓取 Amazon 商品详情的输出设置
Datablist AI Agent 抓取 Amazon 商品详情的输出设置

配置完所有输出后,勾选 Advanced Settings 旁边的复选框,并使用以下设置:

  • LLM Model:先使用当前默认模型,再检查样本结果。
  • Max iterations:根据所请求的字段设置合适的预算。
  • Website Scraper Option: Render HTML:如果所需内容必须经过渲染才能显示,请启用该选项;它会增加成本。

然后点击 Continue to outputs configuration。

Datablist AI Agent 抓取 Amazon 商品详情的高级设置
Datablist AI Agent 抓取 Amazon 商品详情的高级设置

点击 ⊕ 图标,为每个输出添加新列。完成后,点击 Instant Run。

Datablist AI Agent 抓取 Amazon 商品详情的输出列配置
Datablist AI Agent 抓取 Amazon 商品详情的输出列配置

现在你会看到 Run Settings,可以在这里选择要处理的数据条数。

设置完成后,点击 Run enrichment on X items,开始从 Amazon 抓取商品详细信息。

Datablist AI Agent 抓取 Amazon 商品详情的运行设置
Datablist AI Agent 抓取 Amazon 商品详情的运行设置

Enrichment 完成后,将已填充字段与源页面进行对比。请将 Error Msg 与空白商品字段分开检查;查询失败并不能证明商品没有价格或已经下架。

包含 Amazon 商品详情抓取结果的 Datablist collection
包含 Amazon 商品详情抓取结果的 Datablist collection

导出前验证 ASIN、商品变体和价格

请将 Product Link、ASIN、Page Scraped 和 Checked At 列与提取出的详细信息放在一起。实际运行日期需要自行填写,以便区分不同批次的价格检查结果。

以一条示例数据为例,如果页面显示“Acme Mug, blue, pack of 2, USD 18”,就应将蓝色变体、两件装规格和页面显示金额 18 保存在同一条记录中。之后出现的优惠券,并不能证明价格已经变成 18 减去优惠券面值;其他卖家的价格也不应在没有说明的情况下替换当前记录中的报价。

扩大页面上限前,建议抽样检查以下情况:

  • 同一商品链接出现在不同位置:根据已核对的站点和 ASIN 去重,同时保留来源页面。
  • 尺寸或颜色选项不同:如果它们对应不同的标识符或报价,请分别保留。
  • 商品缺货或访问出错:保留状态以供审核;绝不要将空白价格转换为零。
  • 参考价和订阅价格:保留各自的标签,不要与当前显示金额混在一起。

有关字段类型和缺失值规则,请参阅 LLM 结构化提取。

导出经过审核的 CSV 或 Excel 文件,并保留源 URL 和日期。这样得到的是带日期的商品目录快照,而非实时库存 feed,也不能保证消费者之后看到的价格与之相同。

从其他页面继续抓取 Amazon 商品

抓取 Amazon 搜索结果时,最好先从小规模开始。

先抓取前几页,检查商品链接,再从上次停止的位置继续。

通过 AI Agent scraper 完成首次运行后,你可以复用相同配置来抓取后续页面。

点击 collection 右上角的 Saved Enrichments。

访问 Amazon 抓取设置
访问 Amazon 抓取设置

页面会打开已保存的 enrichments 列表。

点击“Play”图标
点击“Play”图标

找到刚才使用的 Amazon scraper,点击 Play 图标打开其设置。

现在更新 Amazon 搜索 URL,从下一页开始抓取。 例如,如果 Page Scraped 确认最后成功抓取的是第 10 页,请先在浏览器中打开并确认第 11 页的结果 URL,再将其作为下一次输入。如果 URL 已经包含 page 参数,不要再追加第二个同名参数。

如需跟踪已经抓取的内容,请查看 collection 中的商品链接。 你还可以添加名为 Page Scraped 的列,在首次抓取时保存来源 URL。

利用这些信息决定下一个 &page=X 参数的值。

每次续抓后都要检查是否存在重叠。搜索结果可能在两次运行之间发生变化,因此按页码继续抓取可能产生重复商品,也可能漏掉已经移动到前面页面的商品。

常见问题

不写代码如何抓取 Amazon 商品?

你可以使用 Datablist AI Agent 之类的 no-code 工具,无需编写任何代码即可抓取 Amazon 商品及其详细信息。这类工具提供易用的可视化界面,你只需输入 URL,并选择想要提取的数据。

哪款 Amazon 抓取工具最适合非技术用户?

对于非技术用户,Datablist 这类 AI 驱动的网页 scraper 是很好的选择。它们提供可视化界面,不要求编程知识,并能通过简单的点击操作完成复杂的数据抓取任务。

抓取 Amazon 数据是否合法?

页面可以公开访问,并不代表你有权进行自动化收集或重复使用其中的数据。开始前,请查看 Amazon 当前的使用条件,并确认目标数据集需要遵守的相关要求。本工作流不会为你提供受限页面的访问权限。

提取 Amazon 商品信息最简单的方法是什么?

导入商品 URL,或者先从搜索页面收集链接,然后配置 AI Agent prompt 和预期输出字段。上面的 prompt 只是可按需调整的示例;该工作流并不依赖专门内置的 Amazon 模板。

无需代码如何抓取 Amazon 搜索结果

在 AI Agent - Site Scraper 中提供一个搜索结果 URL、用于提取商品链接的 prompt,并设置较小的初始页数预算。启用更多分页前,请先检查返回的商品链接和 Page Scraped。