Um E-Commerce-Produktlisten ohne Code zu scrapen, gibst Du dem AI Agent - Site Scraper von Datablist eine Kategorie-URL und einen Prompt mit den gewünschten Feldern. Aktiviere die Pagination, wenn der Shop mehrere Listenseiten hat, lege ein Seitenlimit fest und prüfe in den ersten Ergebnissen die Produkt-URLs und Preise. In dieser Anleitung dient eine Kategorieseite von Gymshark als Beispiel. Wie viele Produkte und Felder verfügbar sind, hängt vom jeweiligen Shop ab.
Input: eine Kategorie- oder „All Products“-URL pro Durchlauf. Output: eine Zeile pro gefundenem Produkt, mit Feldern wie Name, Produkt-URL, angezeigtem Preis und – sofern verfügbar – Bild-URL. Prüfung: Gleiche einige Zeilen mit den Quellseiten ab und entferne doppelte Produkt-URLs vor dem Export.
Schritt 1 – E-Commerce-Websites scrapen: die Grundlagen
Es gibt zwei Möglichkeiten, Produkte von E-Commerce-Websites zu scrapen:
Du kannst entweder:
-
„Collection/Category“-Seiten scrapen, um ausgewählte Produkte eines E-Commerce-Shops zu extrahieren ⬅️ Diese Methode verwenden wir heute
Diese Kategorieseite nutze ich, um alle Produkte zu scrapen -
Mit einer „All Products“-Seite starten, wenn Du eine größere Abdeckung möchtest. Das Ergebnis bleibt dabei auf die Seiten beschränkt, auf die der Agent zugreifen kann, sowie auf das von Dir festgelegte Seitenlimit.
„All Products“-Seiten bieten weniger Kontrolle über die extrahierten Produkte
Die Konfiguration des AI Agent funktioniert in beiden Fällen gleich – nur der Ausgangspunkt ist ein anderer.
Schritt 2 – E-Commerce-Scraping vorbereiten
Gute Vorbereitung ist die halbe Miete, oder? So bereiten wir das Scraping des E-Commerce-Shops vor:
- Wähle eine Kategorie- oder „All Products“-URL des Shops aus, den Du analysieren möchtest
- Registriere Dich bei Datablist
- Erstelle eine Collection in Datablist
Los geht’s!
Um Produkte ohne Code von E-Commerce-Websites zu scrapen, brauchst Du ein Tool, dem Du Deine Aufgabe einfach in natürlicher Sprache beschreiben kannst. Eines davon ist der AI Research Agent von Datablist.
Nach der Registrierung bei Datablist musst Du Deine Automation einrichten. Ich zeige Dir, wie es geht!
Erstelle eine neue Collection, indem Du auf das Pluszeichen klickst, oder nutze einfach das Tastenkürzel „N“.
Das siehst Du beim Erstellen einer neuen Collection. Ich habe meine bereits umbenannt – und ihr sogar ein passendes Emoji gegeben.
Damit ist die Vorbereitung abgeschlossen. Jetzt geht’s ans Eingemachte.
Schritt 3 – E-Commerce-Produkte scrapen
Um mit dem Scraping von Produkten aus E-Commerce-Shops zu beginnen, sind drei Schritte nötig:
- Wähle den „AI Agent - Site Scraper“ als Source aus
- Füge einen Prompt ein, der dem AI Agent Dein Ziel erklärt
- Erstelle für jede Produktinformation, die Du scrapen möchtest, eine Output Property
Jetzt wissen wir, was zu tun ist – fangen wir mit dem Scraping an!
Klicke auf „See all sources“, um den AI Agent für das Scraping zu konfigurieren.
Wähle jetzt den „AI Agent - Site Scraper“ aus.
Füge in das erste Feld die URL der Seite ein, von der Du Produkte scrapen möchtest.
Formuliere anschließend einen Prompt, der dem AI Agent erklärt, welche Informationen Du aus dem E-Commerce-Shop extrahieren möchtest. Du kannst dafür auch meinen Prompt unten verwenden.
Kontext: Ich habe eine E-Commerce-Website mit einer Produktliste.
===Deine Aufgabe: Rufe die Website auf und erfasse alle angezeigten Produkte mit den zugehörigen Informationen.
===Vorgehen: Öffne die Website über den Link, den ich Dir gebe, und extrahiere für jedes Produkt alle angezeigten Informationen.
===Wichtiger Hinweis zur Aufgabe: Extrahiere keine Informationen, die keinem Produkt zugeordnet sind, zum Beispiel Call-to-Actions.
===Wir suchen folgende Informationen:
- Name des Produkts
- Link zur Produktseite
- Originalpreis des Produkts in der angezeigten Währung
- Produktkategorie: (Beispiele: vollwertige Instant-Mahlzeiten, Tanktops, Socken)
- Produktspezifikation 1: (Beispiele: Compression Fit, 40 g Protein, Premium-Füßlinge)
- Produktspezifikation 2: (Beispiele: Farbe, Stückzahl, Portionen)
- Besondere Tags: (Beispiele: Neu, Limited Edition, letzte Chance usw. Gib „None“ zurück, wenn keine vorhanden sind)
- Absoluter Link zum Produktbild
- Rabatt in % (falls verfügbar. Gib „None“ zurück, wenn es keinen Rabatt gibt)
Gib keine Informationen zurück, die nicht in diese Datentypen fallen, und liefere pro Datentyp nur eine Information.
===Wichtiger Hinweis zu den Daten: Nicht alle Seiten sind gleich aufgebaut. Die Produkte sind jedoch eindeutig genug gekennzeichnet, sodass Du die verschiedenen Datenpunkte voneinander unterscheiden können solltest.
Wenn die Produktliste aus mehreren Seiten besteht, aktiviere Enable Pagination und setze Max Pages für den ersten Durchlauf auf einen kleinen Wert. Das Seitenlimit steuert die Anzahl der besuchten Seiten, nicht die Anzahl der zurückgegebenen Produkte. Prüfe, ob die Links zur jeweils nächsten Seite erreichbar sind. Eine einzelne Seite oder eine blockierte Folgeseite führt nicht zu einem vollständigen Produktkatalog.
Jetzt musst Du für jede Produktinformation, die Du scrapen möchtest, ein Output-Feld beziehungsweise eine Spalte erstellen.
Klicke auf „More“, um weitere Output-Felder zu erstellen. Wiederhole diesen Vorgang, bis für jeden Informationstyp ein eigenes Feld vorhanden ist.
Wenn Du die Produktspezifikationen getrennt speichern möchtest, erstellst Du für jede Spezifikation ein eigenes Feld. Hier ist ein Beispiel:
💡 So erzielst Du genauere Scraping-Ergebnisse
Gib den AI Agents konkrete Beispiele für die gewünschten Produktspezifikationen. Hier ist ein Beispiel anhand der Tanktops von Gymshark aus dem Bild oben:
Produktspezifikation 1: Slim Fit
Produktspezifikation 2: Schwarz
Wenn Du alle Output-Felder für die gewünschten Informationen erstellt hast, aktiviere das Kontrollkästchen „Advanced Settings“.
Jetzt kannst Du:
- Ein verfügbares Modell auswählen, falls das Standardmodell nicht zu Deinem Budget oder Deinen Anforderungen an die Extraktion passt. Vergleiche zunächst eine kleine Stichprobe, bevor Du einen größeren Durchlauf startest.
- Die maximale Anzahl der Iterationen festlegen. Mehr Iterationen können den Credit-Verbrauch erhöhen. Hier erfährst Du, wie AI Agents funktionieren.
- Render HTML ausprobieren, wenn die Produkte per JavaScript geladen werden und der erste Durchlauf keine brauchbaren Zeilen liefert. Prüfe die Ergebnisse erneut, nachdem Du die Option aktiviert hast.
Klicke nach dem Aktivieren auf „Continue“.
Klicke anschließend auf Run import now, um die Produkte von der für diesen Durchlauf konfigurierten URL zu extrahieren.
Hier siehst Du ein Beispielergebnis des Website Scraper AI Agent. Welche Felder ausgefüllt werden und wie viele Zeilen entstehen, hängt von der Quellseite und Deinem Prompt ab.
💡 So vermeidest Du Duplikate
Verwende die Produkt-URL als eindeutige Kennung, wenn der Shop jedem Produkt eine stabile URL zuweist. Produktnamen können sich bei verschiedenen Größen oder Varianten wiederholen. Die Eindeutigkeit verhindert doppelte Zeilen in der Collection. Sie verhindert jedoch nicht, dass der Agent bei einem späteren Durchlauf Seiten erneut besucht oder Credits verbraucht.
Die Anleitung findest Du unten ⬇️
Wähle zuerst Deine eindeutige Kennung aus. In meinem Fall nehme ich den Produktlink, bei Dir kann es aber auch ein anderes Feld sein.
Klicke dann auf den Spaltenkopf und wähle „Rename - Settings - Delete“ aus.
Aktiviere jetzt das Kästchen „Do not allow duplicate values“ und klicke auf „Save Property“.
Damit ist alles eingerichtet. Jedes Produkt des Shops erscheint jetzt nur einmal in Deiner Collection – selbst wenn Du denselben E-Commerce-Shop mehrmals scrapst.
Im Spaltenkopf solltest Du nun außerdem ein Schlüsselsymbol sehen, das die eindeutige Kennung bestätigt.
Fazit
Für eine brauchbare Produktliste solltest Du mit der richtigen Kategorie-URL starten, nur Informationen anfordern, die in der Liste sichtbar sind, und den ersten Durchlauf klein halten. Prüfe Preise, Produktlinks, fehlende Werte und die Pagination, bevor Du das Seitenlimit erhöhst. Beachte außerdem die Zugriffsregeln und Nutzungsbedingungen des Shops.
Kann ich E-Commerce-Websites ohne Code scrapen?
Ja. Mit der AI von Datablist kannst Du E-Commerce-Websites über Befehle in natürlicher Sprache scrapen. Du formulierst Deine Anweisungen einfach in Alltagssprache, während der AI Agent die technischen Schritte übernimmt.
Wie überwache ich Preisänderungen in Online-Shops?
Führe denselben Workflow für die Produktliste erneut aus und vergleiche die neue Preisspalte mit Deinem früheren Export. Nutze eine stabile Produkt-URL, um die Zeilen einander zuzuordnen. Der Preis in der Produktliste kann von der Produktseite abweichen oder sich je nach Variante ändern.
Wie scrape ich Produktdaten aus E-Commerce-Shops?
Gib eine Kategorie- oder „All Products“-URL an und fordere konkrete Felder wie Produktname, URL, angezeigten Preis und Bild-URL an. Weise anschließend jedes Feld einer Output Property zu. Prüfe die ersten Zeilen, bevor Du das Seitenlimit erhöhst.
Wie scrape ich mehrere E-Commerce-Websites gleichzeitig?
Der Site Scraper akzeptiert pro Durchlauf eine Start-URL. Führe ihn für jeden Shop oder jede Kategorie separat aus und kombiniere die Ergebnisse anschließend bei Bedarf in einer Collection. Die Abdeckung hängt von den erreichbaren Seiten und Deinem Seitenlimit ab.
Ist Website-Scraping legal?
Prüfe vor der Datenerfassung die Nutzungsbedingungen und Berechtigungen des jeweiligen Shops. Allein die öffentliche Sichtbarkeit bedeutet nicht automatisch, dass das Scraping erlaubt ist. Die geltenden Regeln unterscheiden sich je nach Website und Standort.