Как парсить товары интернет-магазинов без кода: гайд

Habib Benabdeslam
Habib Benabdeslam
9 мин чтения
Парсинг товаров интернет-магазина
Как парсить товары интернет-магазинов без кода: гайд
Оглавление
  1. Шаг 1. Как устроен парсинг интернет-магазинов
  2. Шаг 2. Подготовка к парсингу интернет-магазина
  3. Шаг 3. Запуск парсинга товаров интернет-магазина
    1. Отделяйте цену продажи от исходной цены
  4. FAQ

Чтобы спарсить карточки товаров без кода, передайте AI Agent - Site Scraper от Datablist URL категории и промпт с нужными полями. Если в магазине несколько страниц с товарами, включите пагинацию, задайте лимит страниц и проверьте URL и цены товаров в первых результатах. В этом руководстве используется страница категории Gymshark; количество товаров и доступных полей зависит от конкретного магазина.

Входные данные: один URL категории или страницы со всеми товарами на каждый запуск. Результат: одна строка на каждый найденный товар с такими полями, как название, URL товара, отображаемая цена и URL изображения, если оно доступно. Проверка: сопоставьте несколько строк с исходными страницами и удалите дубликаты URL товаров перед экспортом. Если вам нужны отзывы о магазине, а не список товаров, воспользуйтесь сценарием сбора отзывов Trusted Shops: в нём каждому отзыву соответствует отдельная строка, а перед анализом проверяются оценки, даты и пересечения страниц.

Шаг 1. Как устроен парсинг интернет-магазинов

Есть два способа спарсить товары с сайтов интернет-магазинов.

Вы можете:

  1. Парсить страницы коллекций или категорий, чтобы извлечь выбранные товары из интернет-магазина ⬅️ Именно этот способ мы рассмотрим сегодня

    Страница категории, с которой я спарсю все товары
    Страница категории, с которой я спарсю все товары
  2. Начать со страницы «Все товары», если нужен более широкий охват. Результат всё равно будет ограничен страницами, к которым агент может получить доступ, и установленным вами лимитом.

    Страницы «Все товары» дают меньше контроля над выбором извлекаемых товаров
    Страницы «Все товары» дают меньше контроля над выбором извлекаемых товаров

AI Agent настраивается одинаково — различаются только исходные страницы.

Шаг 2. Подготовка к парсингу интернет-магазина

Хорошая подготовка — уже половина дела. Вот что нужно сделать перед парсингом интернет-магазина:

  1. Выбрать URL категории или страницы со всеми товарами нужного магазина
  2. Зарегистрироваться в Datablist
  3. Создать коллекцию в Datablist

Приступим!

Чтобы парсить товары интернет-магазинов без кода, нужен инструмент, который понимает инструкции на обычном языке. Один из таких инструментов — AI Research Agent в Datablist.

Главная страница Datablist
Главная страница Datablist

После регистрации в Datablist нужно настроить автоматизацию. Сейчас покажу как!

Создайте новую коллекцию, нажав на значок плюса, или воспользуйтесь горячей клавишей «N».

Страница создания новой коллекции в Datablist
Страница создания новой коллекции в Datablist

Так выглядит экран создания новой коллекции. Я уже переименовал свою коллекцию и даже добавил к названию подходящий эмодзи.

Так выглядит пустая коллекция в Datablist
Так выглядит пустая коллекция в Datablist

Подготовка завершена. Теперь переходим к делу.

Шаг 3. Запуск парсинга товаров интернет-магазина

Чтобы начать парсинг товаров интернет-магазина, нужно выполнить три действия:

  1. Выбрать «AI Agent - Site Scraper» в качестве источника
  2. Вставить промпт, объясняющий AI Agent вашу задачу
  3. Создать выходное свойство для каждого типа данных о товаре, который нужно извлечь

План готов — приступим к парсингу!

Нажмите «See all sources», чтобы перейти к настройке AI Agent для парсинга.

Так можно открыть обширный список источников данных Datablist
Так можно открыть обширный список источников данных Datablist

Теперь выберите «AI Agent - Site Scraper».

AI Agent - Site Scraper от Datablist позволяет парсить практически любые страницы
AI Agent - Site Scraper от Datablist позволяет парсить практически любые страницы

Вставьте в первое поле URL сайта, с которого хотите спарсить товары.

URL страницы категории, которую я хочу спарсить с помощью AI Agent
URL страницы категории, которую я хочу спарсить с помощью AI Agent

Затем напишите промпт и объясните AI Agent, какие данные нужно извлечь с сайта интернет-магазина. Также можете использовать мой промпт ниже.

Правильный промпт значительно упрощает извлечение товаров
Правильный промпт значительно упрощает извлечение товаров
Промпт для извлечения товаров

Контекст: у меня есть сайт интернет-магазина со списком товаров.

===

Задача: открой этот сайт и собери все отображаемые товары и сведения о них.

===

Как выполнить задачу: перейди по ссылке, которую я предоставлю, и извлеки всю отображаемую информацию по каждому товару.

===

Важное условие: не извлекай информацию, которая не относится к товару, например призывы к действию.

===

Нам нужны следующие данные:

  • Название товара
  • Ссылка на страницу товара
  • Исходная цена товара в указанной валюте
  • Категория товара (примеры: полноценные блюда быстрого приготовления, майки, носки)
  • Характеристика товара 1 (примеры: компрессионная посадка, 40 г белка, носки премиум-класса)
  • Характеристика товара 2 (примеры: цвет, количество штук, количество порций)
  • Специальные метки (примеры: новинка, лимитированная серия, последний шанс и т. д. Если меток нет, верни «None»)
  • Абсолютная ссылка на изображение товара
  • Скидка в % (если указана. Если скидки нет, верни «None»)

Не возвращай данные, которые не относятся к перечисленным типам. Для каждого типа верни только одно значение.

===

Важное замечание о данных: страницы могут иметь разную структуру, но товары размечены достаточно понятно, чтобы различить нужные элементы данных.

Отделяйте цену продажи от исходной цены

В промпте выше запрашиваются исходная цена и скидка. Для сравнения цен я также рекомендую собирать отображаемую цену продажи. Добавьте следующий блок в промпт, а затем создайте соответствующие выходные свойства Displayed price, Currency и Price condition в дополнение к уже существующему полю исходной цены:

Разделение цен в карточках интернет-магазина

Также верни следующие поля для каждого товара:
Displayed price: цена продажи, указанная в списке товаров; сохраняй формулировки вроде «От».
Currency: валюта, явно указанная на странице; оставь поле пустым, если валюта неясна.
Original price: зачёркнутая цена или цена с пометкой «исходная», только если она видна; в противном случае оставь поле пустым.
Price condition: скопируй любое видимое условие, например «От», «цена для участников» или «выбранный вариант»; если условия нет, оставь поле пустым.

Не вычисляй отсутствующую исходную цену на основе скидки. Не считай начальную цену ценой каждого варианта товара.

Для условной карточки с надписью «24 EUR, ранее 30 EUR» проверьте, что отображаемая цена равна 24, исходная — 30, а валюта — EUR. Для «От 24 EUR» сохраните «От» в отображаемом значении или условии цены, а исходную цену оставьте пустой, если она не указана на странице.

Перед увеличением значения Max Pages протестируйте один товар со скидкой и один товар с начальной ценой. Сопоставьте полученные значения с теми же URL товаров в каталоге. Начальная цена и фиксированная цена конкретного варианта относятся к разным предложениям, поэтому при сравнении экспортированных строк важно сохранять условия цены.

Если список товаров занимает несколько страниц, включите Enable Pagination и для первого запуска задайте небольшое значение Max Pages. Этот лимит определяет число посещённых страниц, а не количество возвращённых товаров. Проверьте доступность ссылок на следующие страницы: если страница всего одна или переход дальше заблокирован, получить полный каталог не удастся.

При парсинге интернет-магазинов особенно важно включить пагинацию
При парсинге интернет-магазинов особенно важно включить пагинацию

Теперь создайте отдельное выходное поле или столбец для каждого типа данных о товаре, который хотите извлечь.

Выходное свойство для хранения названий извлечённых товаров
Выходное свойство для хранения названий извлечённых товаров

Нажмите «More», чтобы создать дополнительные выходные поля. Продолжайте, пока не добавите поле для каждого типа данных.

Создайте столько свойств, сколько нужно для хранения спарсенных данных о товарах
Создайте столько свойств, сколько нужно для хранения спарсенных данных о товарах

Если характеристики товаров нужно хранить отдельно, создайте отдельное поле для каждой из них. Например:

Пример характеристик товара
Пример характеристик товара
Отдельное свойство для каждой характеристики упрощает работу с данными
Отдельное свойство для каждой характеристики упрощает работу с данными

💡 Как повысить точность парсинга

Приведите AI Agent конкретные примеры характеристик, которые хотите получить. Ниже — пример для маек Gymshark с изображения выше.

Характеристика товара 1: приталенный крой
Характеристика товара 2: чёрный цвет

После создания всех выходных полей для нужных данных установите флажок Advanced Settings.

Включите Advanced Settings, чтобы открыть дополнительные возможности парсинга
Включите Advanced Settings, чтобы открыть дополнительные возможности парсинга

Теперь вы можете:

  1. Выбрать доступную модель, если вариант по умолчанию не соответствует вашим требованиям к стоимости или извлечению данных. Перед крупным запуском сравните результаты на небольшой выборке.
  2. Задать максимальное число итераций. Чем больше итераций, тем выше может быть расход кредитов; узнайте, как работают AI Agents.
  3. Включить Render HTML, если товары загружаются через JavaScript и первый запуск не вернул пригодных данных. После включения снова проверьте результат.

Завершив настройку, нажмите «Continue».

Опция Render HTML встречается далеко не в каждом инструменте
Опция Render HTML встречается далеко не в каждом инструменте

Затем нажмите Run import now, чтобы извлечь товары с URL, указанного для этого запуска.

Последний клик перед началом извлечения товаров с помощью AI Agent
Последний клик перед началом извлечения товаров с помощью AI Agent

Ниже показан пример результата работы website scraper AI Agent. Набор полей и количество строк зависят от исходной страницы и вашего промпта.

Товары, которые я спарсил с показанного в начале сайта
Товары, которые я спарсил с показанного в начале сайта

💡 Как избежать дубликатов

Используйте URL товара как уникальный идентификатор, если магазин предоставляет каждому товару постоянную ссылку. Названия могут повторяться у разных размеров или вариантов. Проверка уникальности предотвращает появление повторяющихся строк в коллекции, но не мешает агенту посещать страницы и расходовать кредиты при следующем запуске.

Инструкция приведена ниже ⬇️

Сначала выберите уникальный идентификатор. В моём случае это будет ссылка на товар, но у вас идентификатор может быть другим.

Затем нажмите на заголовок столбца и выберите «Rename - Settings - Delete».

Настройки столбца в Datablist
Настройки столбца в Datablist

Теперь установите флажок Do not allow duplicate values и нажмите «Save Property».

Так в Datablist создаётся уникальный идентификатор
Так в Datablist создаётся уникальный идентификатор

Готово: теперь каждый товар магазина будет отображаться в коллекции только один раз, даже если вы несколько раз спарсите этот интернет-магазин.

В заголовке столбца также появится значок ключа, подтверждающий настройку.

У каждого уникального идентификатора справа отображается значок ключа
У каждого уникального идентификатора справа отображается значок ключа

Итоги

Чтобы получить пригодный для работы список товаров, начните с правильного URL категории, запрашивайте только видимые в каталоге поля и ограничьте объём первого запуска. Прежде чем увеличивать лимит страниц, проверьте цены, ссылки на товары, пропущенные значения и пагинацию. Соблюдайте правила доступа и условия использования магазина.

Можно ли парсить интернет-магазины без кода?

Да. AI от Datablist позволяет парсить интернет-магазины с помощью команд на естественном языке. Достаточно описать задачу обычными словами, а AI Agent возьмёт техническую часть на себя.

Как отслеживать изменение цен в интернет-магазинах?

Повторно запустите тот же сценарий для списка товаров и сравните новый столбец цен с предыдущим экспортом. В руководстве по товарам Morrisons объясняется, как сохранять наблюдения с датами и отличать предложения More Card от обычных цен. Для сопоставления строк используйте постоянный URL товара. Учтите, что цена в списке может отличаться от цены на странице товара или меняться в зависимости от варианта.

Как спарсить данные о товарах интернет-магазина?

Укажите один URL категории или страницы со всеми товарами, запросите конкретные поля — например, название товара, URL, отображаемую цену и URL изображения, — а затем сопоставьте каждое поле с выходным свойством. Проверьте первые строки, прежде чем увеличивать лимит страниц.

Как парсить несколько интернет-магазинов одновременно?

Site Scraper принимает один исходный URL на каждый запуск. Запускайте его отдельно для каждого магазина или категории, а затем при необходимости объедините результаты в одной коллекции. Охват зависит от доступных страниц и заданного лимита.

Законно ли парсить сайты?

Перед сбором данных проверьте условия использования каждого магазина и наличие необходимых разрешений. Сам по себе публичный доступ к информации не означает разрешения на её сбор, а требования различаются в зависимости от сайта и юрисдикции.