Scraping sklepów internetowych bez kodowania: poradnik

Habib Benabdeslam
Habib Benabdeslam
9 min czytania
Scrapuj oferty produktów e-commerce
Scraping sklepów internetowych bez kodowania: poradnik
Spis treści
  1. Krok 1 — Na czym polega scraping sklepów internetowych
  2. Krok 2 — Przygotowanie do scrapowania sklepu internetowego
  3. Krok 3 — Scrapowanie produktów ze sklepów e-commerce
    1. Oddziel cenę sprzedaży od ceny pierwotnej
  4. FAQ

Aby scrapować oferty produktów e-commerce bez kodowania, przekaż narzędziu AI Agent - Site Scraper w Datablist adres URL kategorii oraz prompt określający potrzebne pola. Jeśli sklep ma kilka stron z produktami, włącz paginację, ustaw limit stron i sprawdź adresy URL produktów oraz ceny w pierwszych wynikach. W tym poradniku wykorzystujemy stronę kategorii Gymshark. Liczba produktów i dostępne pola zależą od konkretnego sklepu.

Dane wejściowe: jeden adres URL kategorii lub strony ze wszystkimi produktami na każde uruchomienie. Wynik: jeden wiersz na każdy znaleziony produkt, zawierający m.in. nazwę, adres URL produktu, wyświetlaną cenę i — jeśli jest dostępny — adres URL zdjęcia. Kontrola: porównaj kilka wierszy ze stronami źródłowymi i przed eksportem usuń powtarzające się adresy URL produktów. Jeśli chcesz pozyskać opinie o sklepie zamiast ofert produktów, skorzystaj z procesu scrapowania opinii z Trusted Shops, który zapisuje każdą opinię w osobnym wierszu oraz sprawdza oceny, daty i nakładanie się stron przed analizą.

Krok 1 — Na czym polega scraping sklepów internetowych

Produkty ze sklepów internetowych można scrapować na dwa sposoby:

Możesz:

  1. Scrapować strony „Kolekcja/Kategoria”, aby pozyskać wybrane produkty ze sklepu internetowego ⬅️ Tę metodę zastosujemy w tym poradniku

    Strona kategorii, z której pobiorę wszystkie produkty
    Strona kategorii, z której pobiorę wszystkie produkty
  2. Zacząć od strony „Wszystkie produkty”, jeśli zależy Ci na szerszym zakresie danych. Wynik nadal będzie ograniczony do stron dostępnych dla agenta oraz ustawionego limitu stron.

    Strony „Wszystkie produkty” dają mniejszą kontrolę nad pozyskiwanymi produktami
    Strony „Wszystkie produkty” dają mniejszą kontrolę nad pozyskiwanymi produktami

Konfiguracja AI Agent wygląda w obu przypadkach tak samo — różni się jedynie strona początkowa.

Krok 2 — Przygotowanie do scrapowania sklepu internetowego

Dobre przygotowanie to połowa sukcesu. Oto co zrobimy przed rozpoczęciem scrapowania sklepu internetowego:

  1. Wybierz adres URL kategorii lub strony ze wszystkimi produktami w sklepie, który chcesz przeanalizować
  2. Załóż konto w Datablist
  3. Utwórz kolekcję w Datablist

Zaczynajmy!

Do scrapowania produktów e-commerce bez kodowania potrzebujesz narzędzia, któremu możesz wydawać polecenia w języku naturalnym. Jednym z nich jest AI Research Agent w Datablist.

Strona główna Datablist
Strona główna Datablist

Po założeniu konta w Datablist trzeba skonfigurować automatyzację. Pokażę Ci, jak to zrobić!

Utwórz nową kolekcję, klikając znak plusa, lub skorzystaj ze skrótu „N”.

Strona tworzenia nowej kolekcji w Datablist
Strona tworzenia nowej kolekcji w Datablist

Tak wygląda ekran tworzenia nowej kolekcji. Moja kolekcja ma już nową nazwę (i pasującą emotikonę).

Tak wygląda pusta kolekcja w Datablist
Tak wygląda pusta kolekcja w Datablist

Przygotowania zakończone. Czas przejść do działania.

Krok 3 — Scrapowanie produktów ze sklepów e-commerce

Aby rozpocząć scrapowanie produktów ze sklepów internetowych, wykonaj trzy czynności:

  1. Wybierz „AI Agent - Site Scraper” jako źródło
  2. Wklej prompt, który wyjaśni AI Agent, jaki efekt chcesz osiągnąć
  3. Utwórz właściwość wyjściową dla każdej informacji o produkcie, którą chcesz pozyskać

Plan jest gotowy — zaczynamy scraping!

Kliknij „See all sources”, aby rozpocząć konfigurację AI Agent do scrapowania.

Dostęp do szerokiego wyboru źródeł danych w Datablist
Dostęp do szerokiego wyboru źródeł danych w Datablist

Teraz wybierz „AI Agent - Site Scraper”.

AI Agent Site Scraper w Datablist pozwala scrapować niemal każdą stronę
AI Agent Site Scraper w Datablist pozwala scrapować niemal każdą stronę

W pierwszym polu wklej adres URL strony, z której chcesz pozyskać produkty.

Adres URL strony kategorii, którą chcę scrapować za pomocą AI Agent
Adres URL strony kategorii, którą chcę scrapować za pomocą AI Agent

Następnie wpisz prompt wyjaśniający AI Agent, jakie informacje ma pozyskać z tego sklepu internetowego. Możesz też skorzystać z poniższego przykładu.

Dobrze napisany prompt znacznie ułatwia pozyskiwanie produktów
Dobrze napisany prompt znacznie ułatwia pozyskiwanie produktów
Prompt do pozyskiwania produktów

Kontekst: Mam stronę sklepu internetowego z listą produktów.

===

Zadanie: Odwiedź tę stronę i pozyskaj wszystkie wyświetlane produkty wraz z ich informacjami.

===

Sposób wykonania: Otwórz stronę, do której podam Ci link, i pozyskaj wszystkie wyświetlane informacje dotyczące każdego produktu.

===

Ważna uwaga dotycząca zadania: Nie pozyskuj informacji, które nie są powiązane z produktem, np. wezwań do działania.

===

Szukamy następujących informacji:

  • Nazwa produktu
  • Link do strony produktu
  • Oryginalna cena produktu w wyświetlanej walucie
  • Kategoria produktu (przykłady: pełnowartościowe posiłki instant, tank topy, skarpetki)
  • Specyfikacja produktu 1 (przykłady: krój kompresyjny, 40 g białka, skarpetki premium)
  • Specyfikacja produktu 2 (przykłady: kolor, liczba sztuk, liczba porcji)
  • Specjalne oznaczenia (przykłady: nowość, edycja limitowana, ostatnia szansa itp. Zwróć „Brak”, jeśli nie występują)
  • Bezwzględny link do zdjęcia produktu
  • Rabat w % (jeśli jest dostępny. Zwróć „Brak”, jeśli produkt nie jest przeceniony)

Nie zwracaj danych, które nie należą do żadnego z tych typów. Dla każdego typu zwróć tylko jedną informację.

===

Ważna uwaga dotycząca danych: Nie wszystkie strony mają taką samą strukturę, ale produkty są oznaczone wystarczająco jasno, aby można było rozróżnić poszczególne punkty danych.

Oddziel cenę sprzedaży od ceny pierwotnej

Powyższy prompt prosi o cenę pierwotną i rabat. Do porównywania cen warto pozyskać również wyświetlaną cenę sprzedaży. Dodaj poniższy blok do promptu, a następnie utwórz odpowiadające mu właściwości wyjściowe: Wyświetlana cena, Waluta i Warunek cenowy, obok istniejącego pola ceny pierwotnej:

Oddzielanie cen w ofertach e-commerce

Zwróć również następujące pola dla każdego produktu:
Wyświetlana cena: cena sprzedaży widoczna na liście produktów, z zachowaniem określeń takich jak „Od”.
Waluta: waluta wyraźnie podana na stronie; pozostaw puste pole, jeśli nie można jej jednoznacznie ustalić.
Cena pierwotna: przekreślona cena lub cena oznaczona jako pierwotna, tylko jeśli jest widoczna; w przeciwnym razie pozostaw puste pole.
Warunek cenowy: skopiuj widoczny warunek, np. „Od”, „cena dla klubowiczów” lub „wybrany wariant”; jeśli go nie ma, pozostaw puste pole.

Nie obliczaj brakującej ceny pierwotnej na podstawie rabatu. Nie traktuj ceny początkowej jako ceny każdego wariantu.

W przypadku przykładowej karty z oznaczeniem „24 EUR, wcześniej 30 EUR” sprawdź, czy wyświetlana cena wynosi 24, cena pierwotna 30, a waluta to EUR. Przy ofercie „Od 24 EUR” zachowaj „Od” w wyświetlanej wartości lub warunku cenowym. Cenę pierwotną pozostaw pustą, chyba że strona podaje ją wprost.

Przed zwiększeniem wartości Max Pages przetestuj jeden produkt objęty promocją i jeden z ceną początkową. Porównaj zwrócone wartości z tymi samymi adresami URL produktów na liście. Cena początkowa i stała cena konkretnego wariantu opisują różne oferty, dlatego podczas porównywania wyeksportowanych wierszy zachowaj informacje o warunkach cenowych.

Jeśli lista produktów obejmuje kilka stron, włącz Enable Pagination i dla pierwszego uruchomienia ustaw niewielką wartość Max Pages. Limit dotyczy liczby odwiedzonych stron, a nie liczby zwróconych produktów. Sprawdź, czy linki do kolejnych stron są dostępne — pojedyncza strona lub zablokowana następna strona nie pozwoli pozyskać pełnego katalogu.

Włączenie paginacji jest kluczowe podczas scrapowania sklepów internetowych
Włączenie paginacji jest kluczowe podczas scrapowania sklepów internetowych

Teraz utwórz pole lub kolumnę wyjściową dla każdego typu informacji o produkcie, który chcesz pozyskać.

Właściwość wyjściowa przechowująca nazwy pozyskanych produktów
Właściwość wyjściowa przechowująca nazwy pozyskanych produktów

Kliknij „More”, aby utworzyć kolejne pola wyjściowe. Powtarzaj tę czynność, aż każdy typ informacji będzie miał własne pole.

Utwórz tyle właściwości, ile potrzebujesz do przechowywania pozyskanych informacji o produktach
Utwórz tyle właściwości, ile potrzebujesz do przechowywania pozyskanych informacji o produktach

Jeśli specyfikacje produktów mają być przechowywane osobno, utwórz osobne pole dla każdej z nich. Oto przykład:

Przykład specyfikacji produktu
Przykład specyfikacji produktu
Osobna właściwość dla każdej specyfikacji zapewnia przejrzyste dane
Osobna właściwość dla każdej specyfikacji zapewnia przejrzyste dane

💡 Zrób to, aby uzyskać dokładniejsze wyniki scrapowania

Podaj AI Agents konkretne przykłady specyfikacji produktów, których potrzebujesz. Poniżej znajdziesz przykład oparty na tank topach Gymshark widocznych na powyższym obrazie.

Specyfikacja produktu 1: Dopasowany krój
Specyfikacja produktu 2: Czarny

Po utworzeniu wszystkich pól wyjściowych dla informacji, które chcesz pozyskać, zaznacz pole „Advanced Settings”.

Włącz Advanced Settings, aby uzyskać dostęp do dodatkowych funkcji scrapowania
Włącz Advanced Settings, aby uzyskać dostęp do dodatkowych funkcji scrapowania

Teraz możesz:

  1. Wybrać dostępny model, jeśli domyślny nie odpowiada Twoim wymaganiom dotyczącym kosztów lub pozyskiwania danych. Przed większym uruchomieniem porównaj wyniki na małej próbce.
  2. Ustawić maksymalną liczbę iteracji. Więcej iteracji może zwiększyć zużycie kredytów — sprawdź, jak działają AI Agents.
  3. Wypróbować Render HTML, jeśli produkty są ładowane przez JavaScript, a pierwsze uruchomienie nie zwróciło użytecznych wierszy. Po włączeniu tej opcji ponownie sprawdź wynik.

Po włączeniu ustawień kliknij „Continue”.

Render HTML to funkcja, którą oferuje niewiele narzędzi
Render HTML to funkcja, którą oferuje niewiele narzędzi

Następnie kliknij Run import now, aby pozyskać produkty z adresu URL skonfigurowanego dla tego uruchomienia.

Ostatnie kliknięcie przed rozpoczęciem pozyskiwania produktów przez AI Agent
Ostatnie kliknięcie przed rozpoczęciem pozyskiwania produktów przez AI Agent

Poniżej znajduje się przykładowy wynik działania website scraper AI Agent. Dostępne pola i liczba wierszy zależą od strony źródłowej oraz promptu.

Produkty pozyskane ze strony pokazanej na początku poradnika
Produkty pozyskane ze strony pokazanej na początku poradnika

💡 Zrób to, aby uniknąć duplikatów

Użyj adresu URL produktu jako unikalnego identyfikatora, jeśli sklep przypisuje każdemu produktowi stały adres. Nazwy produktów mogą się powtarzać w przypadku różnych rozmiarów lub wariantów. Unikalność zapobiega powstawaniu zduplikowanych wierszy w kolekcji, ale nie powstrzymuje agenta przed ponownym odwiedzaniem stron ani zużywaniem kredytów przy kolejnym uruchomieniu.

Instrukcję znajdziesz poniżej ⬇️

Najpierw wybierz unikalny identyfikator. W tym przykładzie będzie nim link do produktu, ale w Twoim przypadku może to być inna wartość.

Następnie kliknij nagłówek kolumny i wybierz „Rename - Settings - Delete”.

Opcje kolumny w Datablist
Opcje kolumny w Datablist

Zaznacz pole „Do not allow duplicate values” i kliknij „Save Property”.

Tworzenie unikalnego identyfikatora w Datablist
Tworzenie unikalnego identyfikatora w Datablist

Gotowe. Od tej chwili każdy produkt ze sklepu pojawi się w kolekcji tylko raz, nawet jeśli będziesz scrapować ten sam sklep wielokrotnie.

W nagłówku kolumny powinna też pojawić się ikona klucza, która potwierdza ustawienie unikalnego identyfikatora.

Każdy unikalny identyfikator ma po prawej stronie ikonę klucza
Każdy unikalny identyfikator ma po prawej stronie ikonę klucza

Podsumowanie

Aby uzyskać użyteczną listę produktów, zacznij od właściwego adresu URL kategorii, poproś wyłącznie o pola widoczne na liście i ogranicz zakres pierwszego uruchomienia. Zanim zwiększysz limit stron, sprawdź ceny, linki do produktów, brakujące wartości i działanie paginacji. Przestrzegaj zasad dostępu oraz regulaminu danego sklepu.

Czy można scrapować sklepy internetowe bez kodowania?

Tak. AI w Datablist pozwala scrapować sklepy internetowe za pomocą poleceń w języku naturalnym. Wystarczy opisać zadanie prostym językiem, a AI Agent zajmie się kwestiami technicznymi.

Jak monitorować zmiany cen w sklepach internetowych?

Ponownie uruchom ten sam proces dla listy produktów i porównaj nową kolumnę cen z wcześniejszym eksportem. Poradnik dotyczący produktów Morrisons pokazuje, jak przechowywać obserwacje opatrzone datą i odróżniać oferty More Card od zwykłych cen. Dopasowuj wiersze na podstawie stałego adresu URL produktu. Cena na liście może różnić się od ceny na stronie produktu lub zmieniać zależnie od wariantu.

Jak scrapować dane produktów ze sklepów internetowych?

Podaj jeden adres URL kategorii lub strony ze wszystkimi produktami, wskaż konkretne pola — takie jak nazwa produktu, adres URL, wyświetlana cena i adres URL zdjęcia — a następnie przypisz każde z nich do właściwości wyjściowej. Przed zwiększeniem limitu stron sprawdź pierwsze wiersze.

Jak scrapować kilka sklepów internetowych jednocześnie?

Site Scraper przyjmuje jeden początkowy adres URL na każde uruchomienie. Uruchom go osobno dla każdego sklepu lub każdej kategorii, a następnie — jeśli ma to sens — połącz wyniki w jednej kolekcji. Zakres danych zależy od dostępnych stron oraz ustawionego limitu.

Czy web scraping jest legalny?

Przed pozyskaniem danych sprawdź regulamin każdego sklepu i wymagane zgody. Sama publiczna dostępność danych nie oznacza automatycznie pozwolenia na ich zbieranie, a przepisy i zasady różnią się zależnie od witryny oraz kraju.