Чтобы спарсить карточки товаров без кода, передайте AI Agent - Site Scraper от Datablist URL категории и промпт с нужными полями. Если в магазине несколько страниц с товарами, включите пагинацию, задайте лимит страниц и проверьте URL и цены товаров в первых результатах. В этом руководстве используется страница категории Gymshark; количество товаров и доступных полей зависит от конкретного магазина.
Входные данные: один URL категории или страницы со всеми товарами на каждый запуск. Результат: одна строка на каждый найденный товар с такими полями, как название, URL товара, отображаемая цена и URL изображения, если оно доступно. Проверка: сопоставьте несколько строк с исходными страницами и удалите дубликаты URL товаров перед экспортом. Если вам нужны отзывы о магазине, а не список товаров, воспользуйтесь сценарием сбора отзывов Trusted Shops: в нём каждому отзыву соответствует отдельная строка, а перед анализом проверяются оценки, даты и пересечения страниц.
Шаг 1. Как устроен парсинг интернет-магазинов
Есть два способа спарсить товары с сайтов интернет-магазинов.
Вы можете:
-
Парсить страницы коллекций или категорий, чтобы извлечь выбранные товары из интернет-магазина ⬅️ Именно этот способ мы рассмотрим сегодня
Страница категории, с которой я спарсю все товары -
Начать со страницы «Все товары», если нужен более широкий охват. Результат всё равно будет ограничен страницами, к которым агент может получить доступ, и установленным вами лимитом.
Страницы «Все товары» дают меньше контроля над выбором извлекаемых товаров
AI Agent настраивается одинаково — различаются только исходные страницы.
Шаг 2. Подготовка к парсингу интернет-магазина
Хорошая подготовка — уже половина дела. Вот что нужно сделать перед парсингом интернет-магазина:
- Выбрать URL категории или страницы со всеми товарами нужного магазина
- Зарегистрироваться в Datablist
- Создать коллекцию в Datablist
Приступим!
Чтобы парсить товары интернет-магазинов без кода, нужен инструмент, который понимает инструкции на обычном языке. Один из таких инструментов — AI Research Agent в Datablist.
После регистрации в Datablist нужно настроить автоматизацию. Сейчас покажу как!
Создайте новую коллекцию, нажав на значок плюса, или воспользуйтесь горячей клавишей «N».
Так выглядит экран создания новой коллекции. Я уже переименовал свою коллекцию и даже добавил к названию подходящий эмодзи.
Подготовка завершена. Теперь переходим к делу.
Шаг 3. Запуск парсинга товаров интернет-магазина
Чтобы начать парсинг товаров интернет-магазина, нужно выполнить три действия:
- Выбрать «AI Agent - Site Scraper» в качестве источника
- Вставить промпт, объясняющий AI Agent вашу задачу
- Создать выходное свойство для каждого типа данных о товаре, который нужно извлечь
План готов — приступим к парсингу!
Нажмите «See all sources», чтобы перейти к настройке AI Agent для парсинга.
Теперь выберите «AI Agent - Site Scraper».
Вставьте в первое поле URL сайта, с которого хотите спарсить товары.
Затем напишите промпт и объясните AI Agent, какие данные нужно извлечь с сайта интернет-магазина. Также можете использовать мой промпт ниже.
Контекст: у меня есть сайт интернет-магазина со списком товаров.
===Задача: открой этот сайт и собери все отображаемые товары и сведения о них.
===Как выполнить задачу: перейди по ссылке, которую я предоставлю, и извлеки всю отображаемую информацию по каждому товару.
===Важное условие: не извлекай информацию, которая не относится к товару, например призывы к действию.
===Нам нужны следующие данные:
- Название товара
- Ссылка на страницу товара
- Исходная цена товара в указанной валюте
- Категория товара (примеры: полноценные блюда быстрого приготовления, майки, носки)
- Характеристика товара 1 (примеры: компрессионная посадка, 40 г белка, носки премиум-класса)
- Характеристика товара 2 (примеры: цвет, количество штук, количество порций)
- Специальные метки (примеры: новинка, лимитированная серия, последний шанс и т. д. Если меток нет, верни «None»)
- Абсолютная ссылка на изображение товара
- Скидка в % (если указана. Если скидки нет, верни «None»)
Не возвращай данные, которые не относятся к перечисленным типам. Для каждого типа верни только одно значение.
===Важное замечание о данных: страницы могут иметь разную структуру, но товары размечены достаточно понятно, чтобы различить нужные элементы данных.
Отделяйте цену продажи от исходной цены
В промпте выше запрашиваются исходная цена и скидка. Для сравнения цен я также рекомендую собирать отображаемую цену продажи. Добавьте следующий блок в промпт, а затем создайте соответствующие выходные свойства Displayed price, Currency и Price condition в дополнение к уже существующему полю исходной цены:
Также верни следующие поля для каждого товара:
Displayed price: цена продажи, указанная в списке товаров; сохраняй формулировки вроде «От».
Currency: валюта, явно указанная на странице; оставь поле пустым, если валюта неясна.
Original price: зачёркнутая цена или цена с пометкой «исходная», только если она видна; в противном случае оставь поле пустым.
Price condition: скопируй любое видимое условие, например «От», «цена для участников» или «выбранный вариант»; если условия нет, оставь поле пустым.
Не вычисляй отсутствующую исходную цену на основе скидки. Не считай начальную цену ценой каждого варианта товара.
Для условной карточки с надписью «24 EUR, ранее 30 EUR» проверьте, что отображаемая цена равна 24, исходная — 30, а валюта — EUR. Для «От 24 EUR» сохраните «От» в отображаемом значении или условии цены, а исходную цену оставьте пустой, если она не указана на странице.
Перед увеличением значения Max Pages протестируйте один товар со скидкой и один товар с начальной ценой. Сопоставьте полученные значения с теми же URL товаров в каталоге. Начальная цена и фиксированная цена конкретного варианта относятся к разным предложениям, поэтому при сравнении экспортированных строк важно сохранять условия цены.
Если список товаров занимает несколько страниц, включите Enable Pagination и для первого запуска задайте небольшое значение Max Pages. Этот лимит определяет число посещённых страниц, а не количество возвращённых товаров. Проверьте доступность ссылок на следующие страницы: если страница всего одна или переход дальше заблокирован, получить полный каталог не удастся.
Теперь создайте отдельное выходное поле или столбец для каждого типа данных о товаре, который хотите извлечь.
Нажмите «More», чтобы создать дополнительные выходные поля. Продолжайте, пока не добавите поле для каждого типа данных.
Если характеристики товаров нужно хранить отдельно, создайте отдельное поле для каждой из них. Например:
💡 Как повысить точность парсинга
Приведите AI Agent конкретные примеры характеристик, которые хотите получить. Ниже — пример для маек Gymshark с изображения выше.
Характеристика товара 1: приталенный крой
Характеристика товара 2: чёрный цвет
После создания всех выходных полей для нужных данных установите флажок Advanced Settings.
Теперь вы можете:
- Выбрать доступную модель, если вариант по умолчанию не соответствует вашим требованиям к стоимости или извлечению данных. Перед крупным запуском сравните результаты на небольшой выборке.
- Задать максимальное число итераций. Чем больше итераций, тем выше может быть расход кредитов; узнайте, как работают AI Agents.
- Включить Render HTML, если товары загружаются через JavaScript и первый запуск не вернул пригодных данных. После включения снова проверьте результат.
Завершив настройку, нажмите «Continue».
Затем нажмите Run import now, чтобы извлечь товары с URL, указанного для этого запуска.
Ниже показан пример результата работы website scraper AI Agent. Набор полей и количество строк зависят от исходной страницы и вашего промпта.
💡 Как избежать дубликатов
Используйте URL товара как уникальный идентификатор, если магазин предоставляет каждому товару постоянную ссылку. Названия могут повторяться у разных размеров или вариантов. Проверка уникальности предотвращает появление повторяющихся строк в коллекции, но не мешает агенту посещать страницы и расходовать кредиты при следующем запуске.
Инструкция приведена ниже ⬇️
Сначала выберите уникальный идентификатор. В моём случае это будет ссылка на товар, но у вас идентификатор может быть другим.
Затем нажмите на заголовок столбца и выберите «Rename - Settings - Delete».
Теперь установите флажок Do not allow duplicate values и нажмите «Save Property».
Готово: теперь каждый товар магазина будет отображаться в коллекции только один раз, даже если вы несколько раз спарсите этот интернет-магазин.
В заголовке столбца также появится значок ключа, подтверждающий настройку.






















