Aby scrapować oferty produktów e-commerce bez kodowania, przekaż narzędziu AI Agent - Site Scraper w Datablist adres URL kategorii oraz prompt określający potrzebne pola. Jeśli sklep ma kilka stron z produktami, włącz paginację, ustaw limit stron i sprawdź adresy URL produktów oraz ceny w pierwszych wynikach. W tym poradniku wykorzystujemy stronę kategorii Gymshark. Liczba produktów i dostępne pola zależą od konkretnego sklepu.
Dane wejściowe: jeden adres URL kategorii lub strony ze wszystkimi produktami na każde uruchomienie. Wynik: jeden wiersz na każdy znaleziony produkt, zawierający m.in. nazwę, adres URL produktu, wyświetlaną cenę i — jeśli jest dostępny — adres URL zdjęcia. Kontrola: porównaj kilka wierszy ze stronami źródłowymi i przed eksportem usuń powtarzające się adresy URL produktów. Jeśli chcesz pozyskać opinie o sklepie zamiast ofert produktów, skorzystaj z procesu scrapowania opinii z Trusted Shops, który zapisuje każdą opinię w osobnym wierszu oraz sprawdza oceny, daty i nakładanie się stron przed analizą.
Krok 1 — Na czym polega scraping sklepów internetowych
Produkty ze sklepów internetowych można scrapować na dwa sposoby:
Możesz:
-
Scrapować strony „Kolekcja/Kategoria”, aby pozyskać wybrane produkty ze sklepu internetowego ⬅️ Tę metodę zastosujemy w tym poradniku
Strona kategorii, z której pobiorę wszystkie produkty -
Zacząć od strony „Wszystkie produkty”, jeśli zależy Ci na szerszym zakresie danych. Wynik nadal będzie ograniczony do stron dostępnych dla agenta oraz ustawionego limitu stron.
Strony „Wszystkie produkty” dają mniejszą kontrolę nad pozyskiwanymi produktami
Konfiguracja AI Agent wygląda w obu przypadkach tak samo — różni się jedynie strona początkowa.
Krok 2 — Przygotowanie do scrapowania sklepu internetowego
Dobre przygotowanie to połowa sukcesu. Oto co zrobimy przed rozpoczęciem scrapowania sklepu internetowego:
- Wybierz adres URL kategorii lub strony ze wszystkimi produktami w sklepie, który chcesz przeanalizować
- Załóż konto w Datablist
- Utwórz kolekcję w Datablist
Zaczynajmy!
Do scrapowania produktów e-commerce bez kodowania potrzebujesz narzędzia, któremu możesz wydawać polecenia w języku naturalnym. Jednym z nich jest AI Research Agent w Datablist.
Po założeniu konta w Datablist trzeba skonfigurować automatyzację. Pokażę Ci, jak to zrobić!
Utwórz nową kolekcję, klikając znak plusa, lub skorzystaj ze skrótu „N”.
Tak wygląda ekran tworzenia nowej kolekcji. Moja kolekcja ma już nową nazwę (i pasującą emotikonę).
Przygotowania zakończone. Czas przejść do działania.
Krok 3 — Scrapowanie produktów ze sklepów e-commerce
Aby rozpocząć scrapowanie produktów ze sklepów internetowych, wykonaj trzy czynności:
- Wybierz „AI Agent - Site Scraper” jako źródło
- Wklej prompt, który wyjaśni AI Agent, jaki efekt chcesz osiągnąć
- Utwórz właściwość wyjściową dla każdej informacji o produkcie, którą chcesz pozyskać
Plan jest gotowy — zaczynamy scraping!
Kliknij „See all sources”, aby rozpocząć konfigurację AI Agent do scrapowania.
Teraz wybierz „AI Agent - Site Scraper”.
W pierwszym polu wklej adres URL strony, z której chcesz pozyskać produkty.
Następnie wpisz prompt wyjaśniający AI Agent, jakie informacje ma pozyskać z tego sklepu internetowego. Możesz też skorzystać z poniższego przykładu.
Kontekst: Mam stronę sklepu internetowego z listą produktów.
===Zadanie: Odwiedź tę stronę i pozyskaj wszystkie wyświetlane produkty wraz z ich informacjami.
===Sposób wykonania: Otwórz stronę, do której podam Ci link, i pozyskaj wszystkie wyświetlane informacje dotyczące każdego produktu.
===Ważna uwaga dotycząca zadania: Nie pozyskuj informacji, które nie są powiązane z produktem, np. wezwań do działania.
===Szukamy następujących informacji:
- Nazwa produktu
- Link do strony produktu
- Oryginalna cena produktu w wyświetlanej walucie
- Kategoria produktu (przykłady: pełnowartościowe posiłki instant, tank topy, skarpetki)
- Specyfikacja produktu 1 (przykłady: krój kompresyjny, 40 g białka, skarpetki premium)
- Specyfikacja produktu 2 (przykłady: kolor, liczba sztuk, liczba porcji)
- Specjalne oznaczenia (przykłady: nowość, edycja limitowana, ostatnia szansa itp. Zwróć „Brak”, jeśli nie występują)
- Bezwzględny link do zdjęcia produktu
- Rabat w % (jeśli jest dostępny. Zwróć „Brak”, jeśli produkt nie jest przeceniony)
Nie zwracaj danych, które nie należą do żadnego z tych typów. Dla każdego typu zwróć tylko jedną informację.
===Ważna uwaga dotycząca danych: Nie wszystkie strony mają taką samą strukturę, ale produkty są oznaczone wystarczająco jasno, aby można było rozróżnić poszczególne punkty danych.
Oddziel cenę sprzedaży od ceny pierwotnej
Powyższy prompt prosi o cenę pierwotną i rabat. Do porównywania cen warto pozyskać również wyświetlaną cenę sprzedaży. Dodaj poniższy blok do promptu, a następnie utwórz odpowiadające mu właściwości wyjściowe: Wyświetlana cena, Waluta i Warunek cenowy, obok istniejącego pola ceny pierwotnej:
Zwróć również następujące pola dla każdego produktu:
Wyświetlana cena: cena sprzedaży widoczna na liście produktów, z zachowaniem określeń takich jak „Od”.
Waluta: waluta wyraźnie podana na stronie; pozostaw puste pole, jeśli nie można jej jednoznacznie ustalić.
Cena pierwotna: przekreślona cena lub cena oznaczona jako pierwotna, tylko jeśli jest widoczna; w przeciwnym razie pozostaw puste pole.
Warunek cenowy: skopiuj widoczny warunek, np. „Od”, „cena dla klubowiczów” lub „wybrany wariant”; jeśli go nie ma, pozostaw puste pole.
Nie obliczaj brakującej ceny pierwotnej na podstawie rabatu. Nie traktuj ceny początkowej jako ceny każdego wariantu.
W przypadku przykładowej karty z oznaczeniem „24 EUR, wcześniej 30 EUR” sprawdź, czy wyświetlana cena wynosi 24, cena pierwotna 30, a waluta to EUR. Przy ofercie „Od 24 EUR” zachowaj „Od” w wyświetlanej wartości lub warunku cenowym. Cenę pierwotną pozostaw pustą, chyba że strona podaje ją wprost.
Przed zwiększeniem wartości Max Pages przetestuj jeden produkt objęty promocją i jeden z ceną początkową. Porównaj zwrócone wartości z tymi samymi adresami URL produktów na liście. Cena początkowa i stała cena konkretnego wariantu opisują różne oferty, dlatego podczas porównywania wyeksportowanych wierszy zachowaj informacje o warunkach cenowych.
Jeśli lista produktów obejmuje kilka stron, włącz Enable Pagination i dla pierwszego uruchomienia ustaw niewielką wartość Max Pages. Limit dotyczy liczby odwiedzonych stron, a nie liczby zwróconych produktów. Sprawdź, czy linki do kolejnych stron są dostępne — pojedyncza strona lub zablokowana następna strona nie pozwoli pozyskać pełnego katalogu.
Teraz utwórz pole lub kolumnę wyjściową dla każdego typu informacji o produkcie, który chcesz pozyskać.
Kliknij „More”, aby utworzyć kolejne pola wyjściowe. Powtarzaj tę czynność, aż każdy typ informacji będzie miał własne pole.
Jeśli specyfikacje produktów mają być przechowywane osobno, utwórz osobne pole dla każdej z nich. Oto przykład:
💡 Zrób to, aby uzyskać dokładniejsze wyniki scrapowania
Podaj AI Agents konkretne przykłady specyfikacji produktów, których potrzebujesz. Poniżej znajdziesz przykład oparty na tank topach Gymshark widocznych na powyższym obrazie.
Specyfikacja produktu 1: Dopasowany krój
Specyfikacja produktu 2: Czarny
Po utworzeniu wszystkich pól wyjściowych dla informacji, które chcesz pozyskać, zaznacz pole „Advanced Settings”.
Teraz możesz:
- Wybrać dostępny model, jeśli domyślny nie odpowiada Twoim wymaganiom dotyczącym kosztów lub pozyskiwania danych. Przed większym uruchomieniem porównaj wyniki na małej próbce.
- Ustawić maksymalną liczbę iteracji. Więcej iteracji może zwiększyć zużycie kredytów — sprawdź, jak działają AI Agents.
- Wypróbować Render HTML, jeśli produkty są ładowane przez JavaScript, a pierwsze uruchomienie nie zwróciło użytecznych wierszy. Po włączeniu tej opcji ponownie sprawdź wynik.
Po włączeniu ustawień kliknij „Continue”.
Następnie kliknij Run import now, aby pozyskać produkty z adresu URL skonfigurowanego dla tego uruchomienia.
Poniżej znajduje się przykładowy wynik działania website scraper AI Agent. Dostępne pola i liczba wierszy zależą od strony źródłowej oraz promptu.
💡 Zrób to, aby uniknąć duplikatów
Użyj adresu URL produktu jako unikalnego identyfikatora, jeśli sklep przypisuje każdemu produktowi stały adres. Nazwy produktów mogą się powtarzać w przypadku różnych rozmiarów lub wariantów. Unikalność zapobiega powstawaniu zduplikowanych wierszy w kolekcji, ale nie powstrzymuje agenta przed ponownym odwiedzaniem stron ani zużywaniem kredytów przy kolejnym uruchomieniu.
Instrukcję znajdziesz poniżej ⬇️
Najpierw wybierz unikalny identyfikator. W tym przykładzie będzie nim link do produktu, ale w Twoim przypadku może to być inna wartość.
Następnie kliknij nagłówek kolumny i wybierz „Rename - Settings - Delete”.
Zaznacz pole „Do not allow duplicate values” i kliknij „Save Property”.
Gotowe. Od tej chwili każdy produkt ze sklepu pojawi się w kolekcji tylko raz, nawet jeśli będziesz scrapować ten sam sklep wielokrotnie.
W nagłówku kolumny powinna też pojawić się ikona klucza, która potwierdza ustawienie unikalnego identyfikatora.






















