E-commercesites scrapen zonder code: complete gids

Habib Benabdeslam
Habib Benabdeslam
10 min lezen
Scrape productoverzichten van webshops
E-commercesites scrapen zonder code: complete gids
Inhoudsopgave
  1. Stap 1 – E-commercesites scrapen begrijpen
  2. Stap 2 – Het scrapen van webshops voorbereiden
  3. Stap 3 – Producten van e-commercesites scrapen
    1. Houd de verkoopprijs apart van de oorspronkelijke prijs
  4. FAQ

Om zonder code productoverzichten van webshops te scrapen, geef je Datablist's AI Agent - Site Scraper een categorie-URL en een prompt met de gewenste velden. Schakel paginering in als de webshop meerdere overzichtspagina's heeft, stel een paginalimiet in en controleer de product-URL's en prijzen in de eerste resultaten. In deze handleiding gebruiken we een categoriepagina van Gymshark als voorbeeld. Het aantal producten en de beschikbare velden verschillen per webshop.

Input: één categorie- of all-products-URL per run. Output: één rij per gevonden product, met waar beschikbaar velden zoals de naam, product-URL, getoonde prijs en afbeeldings-URL. Controle: vergelijk enkele rijen met de bronpagina's en verwijder dubbele product-URL's voordat je exporteert. Wil je reviews over een webshop verzamelen in plaats van productoverzichten? De workflow voor Trusted Shops-reviews gebruikt één rij per review en controleert beoordelingen, datums en overlap tussen pagina's vóór de analyse.

Stap 1 – E-commercesites scrapen begrijpen

Je kunt producten op twee manieren van e-commercesites scrapen:

Je kunt:

  1. Pagina's met "Collecties/Categorieën" scrapen om een selectie van producten uit een webshop te halen ⬅️ Dit is de methode die we vandaag gebruiken

    Dit is de categoriepagina waarvan ik alle producten ga scrapen
    Dit is de categoriepagina waarvan ik alle producten ga scrapen
  2. Beginnen met een pagina waarop "Alle producten" staan als je een breder aanbod wilt verzamelen. Het resultaat blijft beperkt tot de pagina's die de agent kan openen en de paginalimiet die je instelt.

    Pagina's met alle producten geven minder controle over welke producten worden verzameld
    Pagina's met alle producten geven minder controle over welke producten worden verzameld

De configuratie van de AI agent werkt in beide gevallen hetzelfde; alleen het startpunt verschilt.

Stap 2 – Het scrapen van webshops voorbereiden

Een goede voorbereiding is het halve werk. Dit gaan we doen om het scrapen van de webshop voor te bereiden:

  1. Kies een categorie- of all-products-URL van de webshop die je wilt onderzoeken
  2. Meld je aan bij Datablist
  3. Maak een collection aan in Datablist

Aan de slag!

Om zonder code producten van e-commercesites te scrapen, heb je een tool nodig die gewone taal begrijpt. Een van die tools is de AI Research Agent van Datablist.

De homepage van Datablist
De homepage van Datablist

Nadat je je bij Datablist hebt aangemeld, stel je de automatisering in. Ik leg uit hoe dat werkt!

Maak een nieuwe collection door op het plusteken te klikken of gebruik de sneltoets "N".

De pagina in Datablist waarop je een nieuwe collection maakt
De pagina in Datablist waarop je een nieuwe collection maakt

Dit zie je wanneer je een nieuwe collection aanmaakt. Ik heb die van mij al een andere naam gegeven (en ook een leuke emoji toegevoegd).

Zo ziet een lege collection eruit in Datablist
Zo ziet een lege collection eruit in Datablist

Dat was de voorbereiding. Nu gaan we echt aan de slag.

Stap 3 – Producten van e-commercesites scrapen

Om producten van e-commercesites te scrapen, moet je drie dingen doen:

  1. Kies "AI Agent - Site Scraper" als bron
  2. Plak de prompt waarin je de AI Agent uitlegt wat je wilt bereiken
  3. Maak een output property aan voor elk type productinformatie dat je wilt scrapen

Nu duidelijk is wat we gaan doen, kunnen we beginnen met scrapen!

Klik op "See all sources" om de AI agent voor het scrapen te configureren.

Zo krijg je toegang tot de uitgebreide databronnen van Datablist
Zo krijg je toegang tot de uitgebreide databronnen van Datablist

Selecteer nu “AI Agent - Site Scraper”.

Met Datablist's AI Agent Site Scraper kun je vrijwel elke pagina scrapen
Met Datablist's AI Agent Site Scraper kun je vrijwel elke pagina scrapen

Plak in het eerste veld de URL van de website waarvan je producten wilt scrapen.

De URL van de categoriepagina die ik met de AI agent wil scrapen
De URL van de categoriepagina die ik met de AI agent wil scrapen

Schrijf vervolgens een prompt waarin je de AI agent vertelt welke informatie je van deze e-commercesite wilt scrapen. Je kunt ook mijn prompt hieronder gebruiken.

Met de juiste prompt wordt het verzamelen van producten veel eenvoudiger
Met de juiste prompt wordt het verzamelen van producten veel eenvoudiger
Prompt voor productextractie

Context: Ik heb een e-commercesite met een overzicht van producten.

===

Wat ik wil dat je doet: Bezoek die website en verzamel alle getoonde producten en de bijbehorende informatie.

===

Hoe je dit doet: Open de website via de link die ik je geef en verzamel voor elk product alle getoonde informatie.

===

Belangrijk voor deze taak: Verzamel geen informatie die niet aan een product is gekoppeld, zoals calls-to-action.

===

Dit is de informatie die we zoeken:

  • Naam van het product
  • Link naar de productpagina
  • Oorspronkelijke prijs van het product in de getoonde valuta
  • Productcategorie: (voorbeelden: Volwaardige instantmaaltijden, Tanktops, Sokken)
  • Productspecificatie 1: (voorbeelden: Compressiepasvorm, 40 g eiwit, Premium enkelsokken)
  • Productspecificatie 2: (voorbeelden: Kleur, aantal stuks, porties)
  • Speciale labels: (voorbeelden: Nieuw, limited edition, laatste kans, enz. Geef "Geen" terug als er geen labels zijn)
  • Absolute link naar de productafbeelding
  • Korting in % (indien beschikbaar. Geef "Geen" terug als er geen korting is)

Geef niets terug dat niet binnen deze gegevenstypen valt en geef per type slechts één gegeven terug.

===

Belangrijk over de data: Niet alle pagina's hebben dezelfde structuur, maar de producten zijn duidelijk genoeg aangeduid om onderscheid te kunnen maken tussen de verschillende datapunten.

Houd de verkoopprijs apart van de oorspronkelijke prijs

De bovenstaande prompt vraagt om een oorspronkelijke prijs en een korting. Voor een prijsvergelijking zou ik ook de getoonde verkoopprijs verzamelen. Voeg het onderstaande blok toe aan de prompt en maak naast het bestaande veld voor de oorspronkelijke prijs ook bijpassende output properties aan voor Getoonde prijs, Valuta en Prijsvoorwaarde:

Prijzen uit webshopoverzichten scheiden

Geef voor elk product ook deze velden terug:
Getoonde prijs: de verkoopprijs die in het overzicht staat, inclusief formuleringen zoals Vanaf.
Valuta: de valuta die expliciet op de pagina wordt vermeld; laat leeg als deze onduidelijk is.
Oorspronkelijke prijs: alleen de doorgestreepte of als oorspronkelijke prijs aangeduide prijs wanneer die zichtbaar is; laat het veld anders leeg.
Prijsvoorwaarde: neem zichtbare voorwaarden zoals Vanaf, ledenprijs of geselecteerde variant letterlijk over; laat het veld anders leeg.

Bereken geen ontbrekende oorspronkelijke prijs op basis van een korting. Behandel een vanafprijs niet als de prijs van elke variant.

Controleer bij een voorbeeldkaart met “EUR 24, was EUR 30” of de getoonde prijs 24, de oorspronkelijke prijs 30 en de valuta EUR zijn. Staat er “Vanaf EUR 24”, behoud dan Vanaf in de getoonde waarde of prijsvoorwaarde. Laat de oorspronkelijke prijs leeg, tenzij deze op de pagina wordt vermeld.

Test een afgeprijsd product en een product met een vanafprijs voordat je Max Pages verhoogt. Vergelijk de teruggegeven waarden met dezelfde product-URL's in het overzicht. Een vanafprijs en een vaste variantprijs beschrijven verschillende aanbiedingen. Zorg daarom dat de bijbehorende voorwaarden zichtbaar blijven wanneer je de geëxporteerde rijen vergelijkt.

Heeft het productoverzicht meerdere pagina's? Schakel dan Enable Pagination in en stel Max Pages voor de eerste run in op een laag aantal. De paginalimiet bepaalt hoeveel pagina's worden bezocht, niet hoeveel producten er worden teruggegeven. Controleer of de links naar de volgende pagina toegankelijk zijn. Met slechts één pagina of een geblokkeerde vervolgpagina krijg je geen volledige catalogus.

Paginering inschakelen is cruciaal bij het scrapen van e-commercesites
Paginering inschakelen is cruciaal bij het scrapen van e-commercesites

Maak nu een outputveld of kolom aan voor elk type productinformatie dat je wilt scrapen.

Output property voor de namen van de verzamelde producten
Output property voor de namen van de verzamelde producten

Klik op "More" om meer outputvelden te maken. Ga door totdat je voor elk type informatie een outputveld hebt.

Maak zoveel properties als nodig om de gescrapete productinformatie op te slaan
Maak zoveel properties als nodig om de gescrapete productinformatie op te slaan

Wil je productspecificaties afzonderlijk opslaan? Maak dan voor elke specificatie een apart veld aan. Bijvoorbeeld:

Voorbeeld van productspecificaties
Voorbeeld van productspecificaties
Voor een duidelijk dataoverzicht is een aparte property per specificatie essentieel
Voor een duidelijk dataoverzicht is een aparte property per specificatie essentieel

💡 Doe dit voor nauwkeurigere scrapingresultaten

Geef de AI Agents expliciete voorbeelden van de productspecificaties die je wilt verzamelen. Hier is een voorbeeld op basis van de tanktops van Gymshark (zie de afbeelding hierboven).

Productspecificatie 1: Slim Fit
Productspecificatie 2: Zwart

Nadat je alle outputvelden hebt gemaakt voor de informatie die je wilt scrapen, vink je het selectievakje voor "Advanced Settings" aan.

Schakel Advanced Settings in voor meer scrapingfuncties
Schakel Advanced Settings in voor meer scrapingfuncties

Je kunt nu:

  1. Een beschikbaar model kiezen als het standaardmodel niet aansluit bij je budget of extractiebehoeften. Vergelijk eerst een kleine steekproef voordat je een grotere run uitvoert.
  2. Het maximale aantal iteraties instellen. Meer iteraties kunnen tot een hoger creditverbruik leiden; lees hoe AI agents werken.
  3. Render HTML proberen als producten via JavaScript worden geladen en de eerste run geen bruikbare rijen oplevert. Controleer de output opnieuw nadat je dit hebt ingeschakeld.

Klik na het inschakelen op “Continue”.

Render HTML is een functie die bijna geen enkele tool biedt
Render HTML is een functie die bijna geen enkele tool biedt

Klik daarna op Run import now om producten te verzamelen via de URL die voor deze run is ingesteld.

De laatste klik voordat de AI agents producten gaan verzamelen
De laatste klik voordat de AI agents producten gaan verzamelen

Hier zie je een voorbeeldresultaat van de website scraper AI Agent. De velden en het aantal rijen zijn afhankelijk van de bronpagina en je prompt.

Dit zijn de producten die ik van de eerder getoonde website heb gescrapet
Dit zijn de producten die ik van de eerder getoonde website heb gescrapet

💡 Doe dit om duplicaten te voorkomen

Gebruik de product-URL als unieke identifier wanneer de webshop elk product een stabiele URL geeft. Productnamen kunnen bij verschillende maten of varianten terugkomen. Unieke waarden voorkomen dubbele rijen in de collection, maar voorkomen niet dat de agent tijdens een volgende run opnieuw pagina's bezoekt of credits verbruikt.

Bekijk de instructies hieronder ⬇️

Selecteer eerst je unieke identifier. In mijn geval kies ik de productlink, maar bij jou kan dat iets anders zijn.

Klik daarna op de kolomkop en selecteer "Rename - Settings - Delete".

De kolomopties in Datablist
De kolomopties in Datablist

Vink nu het vakje "Do not allow duplicate values" aan en klik op "Save Property".

Zo maak je een unieke identifier in Datablist
Zo maak je een unieke identifier in Datablist

Dat is alles. Elk product uit de webshop verschijnt nu maar één keer in je collection, zelfs als je dezelfde e-commercesite meerdere keren scrapet.

In de kolomkop zie je nu ook een sleutelpictogram dat dit bevestigt.

Elke unieke identifier heeft rechts een sleutelpictogram
Elke unieke identifier heeft rechts een sleutelpictogram

Conclusie

Wil je een bruikbare productlijst? Begin dan met de juiste categorie-URL, vraag alleen om velden die in het overzicht zichtbaar zijn en houd de eerste run klein. Controleer prijzen, productlinks, ontbrekende waarden en paginering voordat je de paginalimiet verhoogt. Houd je aan de toegangsregels en voorwaarden van de webshop.

Kan ik e-commercesites zonder code scrapen?

Ja. Met Datablist's AI kun je e-commercesites scrapen via opdrachten in natuurlijke taal. Je schrijft eenvoudig instructies in gewone taal; de AI agent regelt de technische uitvoering.

Hoe volg ik prijswijzigingen bij webshops?

Voer dezelfde workflow voor productoverzichten opnieuw uit en vergelijk de nieuwe prijskolom met je eerdere export. De Morrisons-productgids legt uit hoe je observaties met een datum bewaart en More Card-aanbiedingen onderscheidt van reguliere prijzen. Gebruik een stabiele product-URL om rijen aan elkaar te koppelen. De prijs in een overzicht kan afwijken van die op de productpagina of per variant verschillen.

Hoe scrape ik productinformatie van webshops?

Voer één categorie- of all-products-URL in en vraag om specifieke velden, zoals de productnaam, URL, getoonde prijs en afbeeldings-URL. Koppel daarna elk veld aan een output property. Controleer de eerste rijen voordat je de paginalimiet verhoogt.

Hoe scrape ik meerdere webshops tegelijk?

De Site Scraper accepteert één start-URL per run. Voer de scraper afzonderlijk uit voor elke webshop of categorie en voeg de resultaten daarna eventueel samen in een collection. De dekking is afhankelijk van de toegankelijke pagina's en je paginalimiet.

Is websites scrapen legaal?

Controleer vóór het verzamelen van data altijd de voorwaarden en toestemmingen van de betreffende webshop. Dat informatie openbaar zichtbaar is, betekent niet automatisch dat je toestemming hebt om deze te verzamelen. De regels verschillen per website en locatie.