Hvis du vil scrape produktlister fra webshops uden kode, skal du give Datablists AI Agent - Site Scraper en kategori-URL og en prompt med de felter, du har brug for. Aktivér paginering, hvis butikken har flere produktsider, angiv en sidegrænse, og kontrollér produkt-URL'er og priser i de første resultater. I denne guide bruger vi en kategoriside fra Gymshark som eksempel. Antallet af produkter og tilgængelige felter afhænger af den enkelte webshop.
Input: Én kategori-URL eller URL til alle produkter pr. kørsel. Output: Én række pr. fundet produkt med felter som navn, produkt-URL, vist pris og billed-URL, når oplysningerne er tilgængelige. Kontrol: Sammenlign nogle få rækker med kildesiderne, og fjern dublerede produkt-URL'er før eksport. Hvis du vil indsamle feedback om en webshop frem for produktlister, beskriver vores workflow til anmeldelser fra Trusted Shops, hvordan du opretter én række pr. anmeldelse og kontrollerer bedømmelser, datoer og overlap mellem sider før analysen.
Trin 1 – Forstå scraping af webshops
Der er to måder at scrape produkter fra webshops på:
Du kan enten:
-
Scrape sider med "Kollektioner/Kategorier" for at hente udvalgte produkter fra en webshop ⬅️ Det er den metode, vi bruger i dag
Dette er den kategoriside, jeg bruger til at scrape alle produkter fra -
Begynde på en side med "Alle produkter", hvis du ønsker en bredere dækning. Resultatet er stadig begrænset til de sider, som agenten kan tilgå, og den sidegrænse, du angiver.
Sider med ”Alle produkter” giver mindre kontrol over, hvilke produkter der udtrækkes
AI Agent konfigureres på samme måde. Det er kun udgangspunktet, der er forskelligt.
Trin 2 – Forbered scraping af webshops
God forberedelse er det halve arbejde, ikke? Sådan gør vi klar til at scrape webshops:
- Vælg en kategori-URL eller en URL til alle produkter i den webshop, du vil undersøge
- Opret en konto hos Datablist
- Opret en collection i Datablist
Lad os komme i gang!
For at scrape produkter fra webshops uden kode skal du bruge et værktøj, hvor du kan beskrive opgaven med almindeligt sprog. Et af disse værktøjer er AI Research Agent i Datablist.
Når du har oprettet en konto hos Datablist, skal du konfigurere din automatisering. Jeg viser dig hvordan!
Opret en ny collection ved at klikke på plustegnet, eller brug genvejen "N"
Sådan ser det ud, når du opretter en ny collection. Jeg har allerede omdøbt min collection (og givet den en fin emoji)
Det var hele forberedelsen. Nu går vi i gang.
Trin 3 – Kom i gang med at scrape webshops
For at komme i gang med at scrape produkter fra webshops skal du gøre tre ting:
- Vælge "AI Agent - Site Scraper" som datakilde
- Indsætte en prompt, der forklarer AI Agent, hvad du vil opnå
- Oprette en output property for hver produktoplysning, du vil scrape
Nu har vi gennemgået hele processen — så lad os begynde at scrape!
Klik på "See all sources" for at begynde konfigurationen af AI Agent til scraping
Vælg nu “AI Agent - Site Scraper”
Indsæt URL'en til den side, du vil scrape produkter fra, i det første felt.
Skriv derefter en prompt, der forklarer AI Agent, hvilke oplysninger du vil scrape fra webshoppen (du kan også bruge min prompt nedenfor)
Kontekst: Jeg har en webshop med en produktliste.
===Opgave: Besøg siden, og hent alle viste produkter og deres oplysninger.
===Fremgangsmåde: Besøg den side, jeg sender dig et link til, og udtræk alle viste oplysninger om hvert produkt.
===Vigtigt om opgaven: Udtræk ikke oplysninger, som ikke er knyttet til et produkt, f.eks. call to actions.
===Her er en beskrivelse af de oplysninger, vi leder efter:
- Produktnavn
- Link til produktsiden
- Produktets oprindelige pris i den viste valuta
- Produktkategori: (eksempler: ernæringsmæssigt komplette instantmåltider, tanktops, sokker)
- Produktspecifikation 1: (eksempler: kompressionspasform, 40 g protein, premium-ankelsokker)
- Produktspecifikation 2: (eksempler: farve, antal, portioner)
- Særlige tags: (eksempler: nyhed, limited edition, sidste chance osv. Returnér "Ingen", hvis der ikke er nogen)
- Absolut link til produktbilledet
- Rabat i % (hvis tilgængelig. Returnér "Ingen", hvis der ikke er nogen rabat)
Returnér ikke noget, der falder uden for disse datatyper, og returnér kun én oplysning for hver type.
===Vigtigt om dataene: Siderne er ikke altid struktureret ens, men produkterne er tydeligt nok markeret til, at du bør kunne skelne mellem de forskellige datapunkter.
Hold salgsprisen adskilt fra normalprisen
Prompten ovenfor beder om en oprindelig pris og en rabat. Ved prissammenligning ville jeg også indsamle den viste salgspris. Føj nedenstående blok til prompten, og opret derefter tilsvarende output properties for Vist pris, Valuta og Prisbetingelse sammen med det eksisterende felt til den oprindelige pris:
Returnér også følgende felter for hvert produkt:
Vist pris: Den salgspris, der vises i produktlisten. Bevar formuleringer som Fra.
Valuta: Den valuta, der udtrykkeligt er angivet på siden. Lad feltet stå tomt, hvis valutaen er uklar.
Oprindelig pris: Den overstregede pris eller pris markeret som oprindelig pris, men kun når den er synlig. Ellers skal feltet stå tomt.
Prisbetingelse: Kopiér enhver synlig betingelse som Fra, medlemspris eller valgt variant. Ellers skal feltet stå tomt.
Beregn ikke en manglende oprindelig pris ud fra en rabat. Betragt ikke en startpris som prisen på samtlige varianter.
På et eksempelprodukt med teksten ”EUR 24, før EUR 30” skal du kontrollere, at den viste pris er 24, den oprindelige pris er 30, og valutaen er EUR. Ved ”Fra EUR 24” skal du bevare Fra i den viste pris eller prisbetingelsen og lade feltet med den oprindelige pris stå tomt, medmindre siden oplyser den.
Test et udsalgsprodukt og et produkt med en startpris, før du øger Max Pages. Sammenlign de returnerede værdier med de samme produkt-URL'er i produktlisten. En startpris og en fast variantpris beskriver forskellige tilbud, så sørg for, at prisbetingelserne fremgår tydeligt, når du sammenligner de eksporterede rækker.
Hvis produktlisten består af flere sider, skal du slå Enable Pagination til og sætte Max Pages til et lavt antal ved den første kørsel. Sidegrænsen styrer, hvor mange sider der besøges – ikke hvor mange produkter der returneres. Kontrollér, om links til næste side er tilgængelige. Hvis der kun er én side, eller den næste side er blokeret, får du ikke et komplet produktkatalog.
Nu skal du oprette et outputfelt eller en kolonne for hver type produktoplysning, du vil scrape.
Klik på "More" for at oprette flere outputfelter, og fortsæt, indtil du har et outputfelt til hver type oplysning
Hvis produktspecifikationerne skal gemmes separat, skal du oprette et felt til hver specifikation. Her er et eksempel:
💡 Gør dette for at få mere præcise scrapingresultater
Giv AI Agents konkrete eksempler på de produktspecifikationer, du ønsker. Her er et eksempel baseret på Gymsharks tanktops (billedet ovenfor)
Produktspecifikation 1: Slim Fit
Produktspecifikation 2: Sort
Når du har oprettet alle outputfelterne til de oplysninger, du vil scrape, skal du markere afkrydsningsfeltet ved "Advanced Settings"
Nu kan du:
- Vælge en tilgængelig model, hvis standardmodellen ikke passer til dit budget eller dine behov for dataudtræk. Sammenlign et lille datasæt, før du starter en større kørsel.
- Angive det maksimale antal iterationer. Flere iterationer kan øge forbruget af credits. Læs mere om, hvordan AI Agents fungerer.
- Prøve Render HTML, hvis produkterne indlæses med JavaScript, og den første kørsel ikke giver brugbare rækker. Kontrollér outputtet igen, når funktionen er aktiveret.
Når du har aktiveret indstillingen, skal du klikke på “Continue”.
Klik derefter på Run import now for at udtrække produkter fra den URL, der er konfigureret til denne kørsel.
Her er et eksempel på et resultat fra website scraper AI Agent. Felterne og antallet af rækker afhænger af kildesiden og din prompt.
💡 Gør dette for at undgå dubletter
Brug produkt-URL'en som unik identifikator, når webshoppen giver hvert produkt en stabil URL. Produktnavne kan gå igen på tværs af størrelser eller varianter. En unik værdi forhindrer dublerede rækker i din collection, men den forhindrer ikke agenten i at besøge sider eller bruge credits ved en senere kørsel.
Se vejledningen nedenfor ⬇️
Vælg først din unikke identifikator. I mit tilfælde bruger jeg produktlinket, men for dig kan det være en anden værdi.
Klik derefter på kolonneoverskriften, og vælg "Rename - Settings - Delete"
Markér nu feltet "Do not allow duplicate values", og klik på "Save Property"
Når du har gjort det, er alt klar. Hvert produkt fra webshoppen vises nu kun én gang i din collection, selv hvis du scraper den samme webshop flere gange.
Du bør nu også kunne se et nøgleikon i kolonneoverskriften, som bekræfter indstillingen.






















