Om zonder code productoverzichten van webshops te scrapen, geef je Datablist's AI Agent - Site Scraper een categorie-URL en een prompt met de gewenste velden. Schakel paginering in als de webshop meerdere overzichtspagina's heeft, stel een paginalimiet in en controleer de product-URL's en prijzen in de eerste resultaten. In deze handleiding gebruiken we een categoriepagina van Gymshark als voorbeeld. Het aantal producten en de beschikbare velden verschillen per webshop.
Input: één categorie- of all-products-URL per run. Output: één rij per gevonden product, met waar beschikbaar velden zoals de naam, product-URL, getoonde prijs en afbeeldings-URL. Controle: vergelijk enkele rijen met de bronpagina's en verwijder dubbele product-URL's voordat je exporteert. Wil je reviews over een webshop verzamelen in plaats van productoverzichten? De workflow voor Trusted Shops-reviews gebruikt één rij per review en controleert beoordelingen, datums en overlap tussen pagina's vóór de analyse.
Stap 1 – E-commercesites scrapen begrijpen
Je kunt producten op twee manieren van e-commercesites scrapen:
Je kunt:
-
Pagina's met "Collecties/Categorieën" scrapen om een selectie van producten uit een webshop te halen ⬅️ Dit is de methode die we vandaag gebruiken
Dit is de categoriepagina waarvan ik alle producten ga scrapen -
Beginnen met een pagina waarop "Alle producten" staan als je een breder aanbod wilt verzamelen. Het resultaat blijft beperkt tot de pagina's die de agent kan openen en de paginalimiet die je instelt.
Pagina's met alle producten geven minder controle over welke producten worden verzameld
De configuratie van de AI agent werkt in beide gevallen hetzelfde; alleen het startpunt verschilt.
Stap 2 – Het scrapen van webshops voorbereiden
Een goede voorbereiding is het halve werk. Dit gaan we doen om het scrapen van de webshop voor te bereiden:
- Kies een categorie- of all-products-URL van de webshop die je wilt onderzoeken
- Meld je aan bij Datablist
- Maak een collection aan in Datablist
Aan de slag!
Om zonder code producten van e-commercesites te scrapen, heb je een tool nodig die gewone taal begrijpt. Een van die tools is de AI Research Agent van Datablist.
Nadat je je bij Datablist hebt aangemeld, stel je de automatisering in. Ik leg uit hoe dat werkt!
Maak een nieuwe collection door op het plusteken te klikken of gebruik de sneltoets "N".
Dit zie je wanneer je een nieuwe collection aanmaakt. Ik heb die van mij al een andere naam gegeven (en ook een leuke emoji toegevoegd).
Dat was de voorbereiding. Nu gaan we echt aan de slag.
Stap 3 – Producten van e-commercesites scrapen
Om producten van e-commercesites te scrapen, moet je drie dingen doen:
- Kies "AI Agent - Site Scraper" als bron
- Plak de prompt waarin je de AI Agent uitlegt wat je wilt bereiken
- Maak een output property aan voor elk type productinformatie dat je wilt scrapen
Nu duidelijk is wat we gaan doen, kunnen we beginnen met scrapen!
Klik op "See all sources" om de AI agent voor het scrapen te configureren.
Selecteer nu “AI Agent - Site Scraper”.
Plak in het eerste veld de URL van de website waarvan je producten wilt scrapen.
Schrijf vervolgens een prompt waarin je de AI agent vertelt welke informatie je van deze e-commercesite wilt scrapen. Je kunt ook mijn prompt hieronder gebruiken.
Context: Ik heb een e-commercesite met een overzicht van producten.
===Wat ik wil dat je doet: Bezoek die website en verzamel alle getoonde producten en de bijbehorende informatie.
===Hoe je dit doet: Open de website via de link die ik je geef en verzamel voor elk product alle getoonde informatie.
===Belangrijk voor deze taak: Verzamel geen informatie die niet aan een product is gekoppeld, zoals calls-to-action.
===Dit is de informatie die we zoeken:
- Naam van het product
- Link naar de productpagina
- Oorspronkelijke prijs van het product in de getoonde valuta
- Productcategorie: (voorbeelden: Volwaardige instantmaaltijden, Tanktops, Sokken)
- Productspecificatie 1: (voorbeelden: Compressiepasvorm, 40 g eiwit, Premium enkelsokken)
- Productspecificatie 2: (voorbeelden: Kleur, aantal stuks, porties)
- Speciale labels: (voorbeelden: Nieuw, limited edition, laatste kans, enz. Geef "Geen" terug als er geen labels zijn)
- Absolute link naar de productafbeelding
- Korting in % (indien beschikbaar. Geef "Geen" terug als er geen korting is)
Geef niets terug dat niet binnen deze gegevenstypen valt en geef per type slechts één gegeven terug.
===Belangrijk over de data: Niet alle pagina's hebben dezelfde structuur, maar de producten zijn duidelijk genoeg aangeduid om onderscheid te kunnen maken tussen de verschillende datapunten.
Houd de verkoopprijs apart van de oorspronkelijke prijs
De bovenstaande prompt vraagt om een oorspronkelijke prijs en een korting. Voor een prijsvergelijking zou ik ook de getoonde verkoopprijs verzamelen. Voeg het onderstaande blok toe aan de prompt en maak naast het bestaande veld voor de oorspronkelijke prijs ook bijpassende output properties aan voor Getoonde prijs, Valuta en Prijsvoorwaarde:
Geef voor elk product ook deze velden terug:
Getoonde prijs: de verkoopprijs die in het overzicht staat, inclusief formuleringen zoals Vanaf.
Valuta: de valuta die expliciet op de pagina wordt vermeld; laat leeg als deze onduidelijk is.
Oorspronkelijke prijs: alleen de doorgestreepte of als oorspronkelijke prijs aangeduide prijs wanneer die zichtbaar is; laat het veld anders leeg.
Prijsvoorwaarde: neem zichtbare voorwaarden zoals Vanaf, ledenprijs of geselecteerde variant letterlijk over; laat het veld anders leeg.
Bereken geen ontbrekende oorspronkelijke prijs op basis van een korting. Behandel een vanafprijs niet als de prijs van elke variant.
Controleer bij een voorbeeldkaart met “EUR 24, was EUR 30” of de getoonde prijs 24, de oorspronkelijke prijs 30 en de valuta EUR zijn. Staat er “Vanaf EUR 24”, behoud dan Vanaf in de getoonde waarde of prijsvoorwaarde. Laat de oorspronkelijke prijs leeg, tenzij deze op de pagina wordt vermeld.
Test een afgeprijsd product en een product met een vanafprijs voordat je Max Pages verhoogt. Vergelijk de teruggegeven waarden met dezelfde product-URL's in het overzicht. Een vanafprijs en een vaste variantprijs beschrijven verschillende aanbiedingen. Zorg daarom dat de bijbehorende voorwaarden zichtbaar blijven wanneer je de geëxporteerde rijen vergelijkt.
Heeft het productoverzicht meerdere pagina's? Schakel dan Enable Pagination in en stel Max Pages voor de eerste run in op een laag aantal. De paginalimiet bepaalt hoeveel pagina's worden bezocht, niet hoeveel producten er worden teruggegeven. Controleer of de links naar de volgende pagina toegankelijk zijn. Met slechts één pagina of een geblokkeerde vervolgpagina krijg je geen volledige catalogus.
Maak nu een outputveld of kolom aan voor elk type productinformatie dat je wilt scrapen.
Klik op "More" om meer outputvelden te maken. Ga door totdat je voor elk type informatie een outputveld hebt.
Wil je productspecificaties afzonderlijk opslaan? Maak dan voor elke specificatie een apart veld aan. Bijvoorbeeld:
💡 Doe dit voor nauwkeurigere scrapingresultaten
Geef de AI Agents expliciete voorbeelden van de productspecificaties die je wilt verzamelen. Hier is een voorbeeld op basis van de tanktops van Gymshark (zie de afbeelding hierboven).
Productspecificatie 1: Slim Fit
Productspecificatie 2: Zwart
Nadat je alle outputvelden hebt gemaakt voor de informatie die je wilt scrapen, vink je het selectievakje voor "Advanced Settings" aan.
Je kunt nu:
- Een beschikbaar model kiezen als het standaardmodel niet aansluit bij je budget of extractiebehoeften. Vergelijk eerst een kleine steekproef voordat je een grotere run uitvoert.
- Het maximale aantal iteraties instellen. Meer iteraties kunnen tot een hoger creditverbruik leiden; lees hoe AI agents werken.
- Render HTML proberen als producten via JavaScript worden geladen en de eerste run geen bruikbare rijen oplevert. Controleer de output opnieuw nadat je dit hebt ingeschakeld.
Klik na het inschakelen op “Continue”.
Klik daarna op Run import now om producten te verzamelen via de URL die voor deze run is ingesteld.
Hier zie je een voorbeeldresultaat van de website scraper AI Agent. De velden en het aantal rijen zijn afhankelijk van de bronpagina en je prompt.
💡 Doe dit om duplicaten te voorkomen
Gebruik de product-URL als unieke identifier wanneer de webshop elk product een stabiele URL geeft. Productnamen kunnen bij verschillende maten of varianten terugkomen. Unieke waarden voorkomen dubbele rijen in de collection, maar voorkomen niet dat de agent tijdens een volgende run opnieuw pagina's bezoekt of credits verbruikt.
Bekijk de instructies hieronder ⬇️
Selecteer eerst je unieke identifier. In mijn geval kies ik de productlink, maar bij jou kan dat iets anders zijn.
Klik daarna op de kolomkop en selecteer "Rename - Settings - Delete".
Vink nu het vakje "Do not allow duplicate values" aan en klik op "Save Property".
Dat is alles. Elk product uit de webshop verschijnt nu maar één keer in je collection, zelfs als je dezelfde e-commercesite meerdere keren scrapet.
In de kolomkop zie je nu ook een sleutelpictogram dat dit bevestigt.






















