Sådan scraper du webshops uden kode med AI Agent

Habib Benabdeslam
Habib Benabdeslam
10 min. læsning
Scrape produktlister fra webshops
Sådan scraper du webshops uden kode med AI Agent
Indholdsfortegnelse
  1. Trin 1 – Forstå scraping af webshops
  2. Trin 2 – Forbered scraping af webshops
  3. Trin 3 – Kom i gang med at scrape webshops
    1. Hold salgsprisen adskilt fra normalprisen
  4. FAQ

Hvis du vil scrape produktlister fra webshops uden kode, skal du give Datablists AI Agent - Site Scraper en kategori-URL og en prompt med de felter, du har brug for. Aktivér paginering, hvis butikken har flere produktsider, angiv en sidegrænse, og kontrollér produkt-URL'er og priser i de første resultater. I denne guide bruger vi en kategoriside fra Gymshark som eksempel. Antallet af produkter og tilgængelige felter afhænger af den enkelte webshop.

Input: Én kategori-URL eller URL til alle produkter pr. kørsel. Output: Én række pr. fundet produkt med felter som navn, produkt-URL, vist pris og billed-URL, når oplysningerne er tilgængelige. Kontrol: Sammenlign nogle få rækker med kildesiderne, og fjern dublerede produkt-URL'er før eksport. Hvis du vil indsamle feedback om en webshop frem for produktlister, beskriver vores workflow til anmeldelser fra Trusted Shops, hvordan du opretter én række pr. anmeldelse og kontrollerer bedømmelser, datoer og overlap mellem sider før analysen.

Trin 1 – Forstå scraping af webshops

Der er to måder at scrape produkter fra webshops på:

Du kan enten:

  1. Scrape sider med "Kollektioner/Kategorier" for at hente udvalgte produkter fra en webshop ⬅️ Det er den metode, vi bruger i dag

    Dette er den kategoriside, jeg bruger til at scrape alle produkter fra
    Dette er den kategoriside, jeg bruger til at scrape alle produkter fra
  2. Begynde på en side med "Alle produkter", hvis du ønsker en bredere dækning. Resultatet er stadig begrænset til de sider, som agenten kan tilgå, og den sidegrænse, du angiver.

    Sider med ”Alle produkter” giver mindre kontrol over, hvilke produkter der udtrækkes
    Sider med ”Alle produkter” giver mindre kontrol over, hvilke produkter der udtrækkes

AI Agent konfigureres på samme måde. Det er kun udgangspunktet, der er forskelligt.

Trin 2 – Forbered scraping af webshops

God forberedelse er det halve arbejde, ikke? Sådan gør vi klar til at scrape webshops:

  1. Vælg en kategori-URL eller en URL til alle produkter i den webshop, du vil undersøge
  2. Opret en konto hos Datablist
  3. Opret en collection i Datablist

Lad os komme i gang!

For at scrape produkter fra webshops uden kode skal du bruge et værktøj, hvor du kan beskrive opgaven med almindeligt sprog. Et af disse værktøjer er AI Research Agent i Datablist.

Datablists forside
Datablists forside

Når du har oprettet en konto hos Datablist, skal du konfigurere din automatisering. Jeg viser dig hvordan!

Opret en ny collection ved at klikke på plustegnet, eller brug genvejen "N"

Siden i Datablist, hvor du opretter en ny collection
Siden i Datablist, hvor du opretter en ny collection

Sådan ser det ud, når du opretter en ny collection. Jeg har allerede omdøbt min collection (og givet den en fin emoji)

Sådan ser en tom collection ud i Datablist
Sådan ser en tom collection ud i Datablist

Det var hele forberedelsen. Nu går vi i gang.

Trin 3 – Kom i gang med at scrape webshops

For at komme i gang med at scrape produkter fra webshops skal du gøre tre ting:

  1. Vælge "AI Agent - Site Scraper" som datakilde
  2. Indsætte en prompt, der forklarer AI Agent, hvad du vil opnå
  3. Oprette en output property for hver produktoplysning, du vil scrape

Nu har vi gennemgået hele processen — så lad os begynde at scrape!

Klik på "See all sources" for at begynde konfigurationen af AI Agent til scraping

Sådan får du adgang til Datablists mange datakilder
Sådan får du adgang til Datablists mange datakilder

Vælg nu “AI Agent - Site Scraper”

Datablists AI Agent Site Scraper kan scrape næsten enhver side
Datablists AI Agent Site Scraper kan scrape næsten enhver side

Indsæt URL'en til den side, du vil scrape produkter fra, i det første felt.

URL'en til den kategoriside, jeg vil scrape med AI Agent
URL'en til den kategoriside, jeg vil scrape med AI Agent

Skriv derefter en prompt, der forklarer AI Agent, hvilke oplysninger du vil scrape fra webshoppen (du kan også bruge min prompt nedenfor)

Den rigtige prompt gør det meget nemmere at udtrække produkter
Den rigtige prompt gør det meget nemmere at udtrække produkter
Prompt til udtrækning af produkter

Kontekst: Jeg har en webshop med en produktliste.

===

Opgave: Besøg siden, og hent alle viste produkter og deres oplysninger.

===

Fremgangsmåde: Besøg den side, jeg sender dig et link til, og udtræk alle viste oplysninger om hvert produkt.

===

Vigtigt om opgaven: Udtræk ikke oplysninger, som ikke er knyttet til et produkt, f.eks. call to actions.

===

Her er en beskrivelse af de oplysninger, vi leder efter:

  • Produktnavn
  • Link til produktsiden
  • Produktets oprindelige pris i den viste valuta
  • Produktkategori: (eksempler: ernæringsmæssigt komplette instantmåltider, tanktops, sokker)
  • Produktspecifikation 1: (eksempler: kompressionspasform, 40 g protein, premium-ankelsokker)
  • Produktspecifikation 2: (eksempler: farve, antal, portioner)
  • Særlige tags: (eksempler: nyhed, limited edition, sidste chance osv. Returnér "Ingen", hvis der ikke er nogen)
  • Absolut link til produktbilledet
  • Rabat i % (hvis tilgængelig. Returnér "Ingen", hvis der ikke er nogen rabat)

Returnér ikke noget, der falder uden for disse datatyper, og returnér kun én oplysning for hver type.

===

Vigtigt om dataene: Siderne er ikke altid struktureret ens, men produkterne er tydeligt nok markeret til, at du bør kunne skelne mellem de forskellige datapunkter.

Hold salgsprisen adskilt fra normalprisen

Prompten ovenfor beder om en oprindelig pris og en rabat. Ved prissammenligning ville jeg også indsamle den viste salgspris. Føj nedenstående blok til prompten, og opret derefter tilsvarende output properties for Vist pris, Valuta og Prisbetingelse sammen med det eksisterende felt til den oprindelige pris:

Adskil priser i webshoplister

Returnér også følgende felter for hvert produkt:
Vist pris: Den salgspris, der vises i produktlisten. Bevar formuleringer som Fra.
Valuta: Den valuta, der udtrykkeligt er angivet på siden. Lad feltet stå tomt, hvis valutaen er uklar.
Oprindelig pris: Den overstregede pris eller pris markeret som oprindelig pris, men kun når den er synlig. Ellers skal feltet stå tomt.
Prisbetingelse: Kopiér enhver synlig betingelse som Fra, medlemspris eller valgt variant. Ellers skal feltet stå tomt.

Beregn ikke en manglende oprindelig pris ud fra en rabat. Betragt ikke en startpris som prisen på samtlige varianter.

På et eksempelprodukt med teksten ”EUR 24, før EUR 30” skal du kontrollere, at den viste pris er 24, den oprindelige pris er 30, og valutaen er EUR. Ved ”Fra EUR 24” skal du bevare Fra i den viste pris eller prisbetingelsen og lade feltet med den oprindelige pris stå tomt, medmindre siden oplyser den.

Test et udsalgsprodukt og et produkt med en startpris, før du øger Max Pages. Sammenlign de returnerede værdier med de samme produkt-URL'er i produktlisten. En startpris og en fast variantpris beskriver forskellige tilbud, så sørg for, at prisbetingelserne fremgår tydeligt, når du sammenligner de eksporterede rækker.

Hvis produktlisten består af flere sider, skal du slå Enable Pagination til og sætte Max Pages til et lavt antal ved den første kørsel. Sidegrænsen styrer, hvor mange sider der besøges – ikke hvor mange produkter der returneres. Kontrollér, om links til næste side er tilgængelige. Hvis der kun er én side, eller den næste side er blokeret, får du ikke et komplet produktkatalog.

Det er afgørende at aktivere paginering, når du scraper webshops
Det er afgørende at aktivere paginering, når du scraper webshops

Nu skal du oprette et outputfelt eller en kolonne for hver type produktoplysning, du vil scrape.

Output property til lagring af navnene på de udtrukne produkter
Output property til lagring af navnene på de udtrukne produkter

Klik på "More" for at oprette flere outputfelter, og fortsæt, indtil du har et outputfelt til hver type oplysning

Opret alle de properties, du skal bruge til at gemme dine scrapede produktoplysninger
Opret alle de properties, du skal bruge til at gemme dine scrapede produktoplysninger

Hvis produktspecifikationerne skal gemmes separat, skal du oprette et felt til hver specifikation. Her er et eksempel:

Eksempel på produktspecifikationer
Eksempel på produktspecifikationer
En property til hver specifikation er afgørende for et overskueligt datasæt
En property til hver specifikation er afgørende for et overskueligt datasæt

💡 Gør dette for at få mere præcise scrapingresultater

Giv AI Agents konkrete eksempler på de produktspecifikationer, du ønsker. Her er et eksempel baseret på Gymsharks tanktops (billedet ovenfor)

Produktspecifikation 1: Slim Fit
Produktspecifikation 2: Sort

Når du har oprettet alle outputfelterne til de oplysninger, du vil scrape, skal du markere afkrydsningsfeltet ved "Advanced Settings"

Aktivér Advanced Settings for at få adgang til flere scrapingfunktioner
Aktivér Advanced Settings for at få adgang til flere scrapingfunktioner

Nu kan du:

  1. Vælge en tilgængelig model, hvis standardmodellen ikke passer til dit budget eller dine behov for dataudtræk. Sammenlign et lille datasæt, før du starter en større kørsel.
  2. Angive det maksimale antal iterationer. Flere iterationer kan øge forbruget af credits. Læs mere om, hvordan AI Agents fungerer.
  3. Prøve Render HTML, hvis produkterne indlæses med JavaScript, og den første kørsel ikke giver brugbare rækker. Kontrollér outputtet igen, når funktionen er aktiveret.

Når du har aktiveret indstillingen, skal du klikke på “Continue”.

”Render HTML” er en funktion, som næsten ingen andre værktøjer har
”Render HTML” er en funktion, som næsten ingen andre værktøjer har

Klik derefter på Run import now for at udtrække produkter fra den URL, der er konfigureret til denne kørsel.

Det sidste klik, før AI Agents begynder at udtrække produkter
Det sidste klik, før AI Agents begynder at udtrække produkter

Her er et eksempel på et resultat fra website scraper AI Agent. Felterne og antallet af rækker afhænger af kildesiden og din prompt.

Dette er de produkter, jeg scrapede fra siden, som jeg viste i begyndelsen
Dette er de produkter, jeg scrapede fra siden, som jeg viste i begyndelsen

💡 Gør dette for at undgå dubletter

Brug produkt-URL'en som unik identifikator, når webshoppen giver hvert produkt en stabil URL. Produktnavne kan gå igen på tværs af størrelser eller varianter. En unik værdi forhindrer dublerede rækker i din collection, men den forhindrer ikke agenten i at besøge sider eller bruge credits ved en senere kørsel.

Se vejledningen nedenfor ⬇️

Vælg først din unikke identifikator. I mit tilfælde bruger jeg produktlinket, men for dig kan det være en anden værdi.

Klik derefter på kolonneoverskriften, og vælg "Rename - Settings - Delete"

Kolonneindstillingerne i Datablist
Kolonneindstillingerne i Datablist

Markér nu feltet "Do not allow duplicate values", og klik på "Save Property"

Sådan opretter du en unik identifikator i Datablist
Sådan opretter du en unik identifikator i Datablist

Når du har gjort det, er alt klar. Hvert produkt fra webshoppen vises nu kun én gang i din collection, selv hvis du scraper den samme webshop flere gange.

Du bør nu også kunne se et nøgleikon i kolonneoverskriften, som bekræfter indstillingen.

Alle unikke identifikatorer har et nøgleikon til højre
Alle unikke identifikatorer har et nøgleikon til højre

Konklusion

Hvis du vil have en brugbar produktliste, skal du begynde med den rigtige kategori-URL, kun bede om felter, der er synlige i produktlisten, og holde den første kørsel lille. Kontrollér priser, produktlinks, manglende værdier og paginering, før du øger sidegrænsen. Overhold altid webshoppens regler og vilkår for adgang.

Kan jeg scrape webshops uden kode?

Ja, med Datablists AI kan du scrape webshops ved hjælp af instruktioner i naturligt sprog. Du skal blot skrive instruktionerne med almindeligt sprog, så håndterer AI Agent de tekniske dele.

Hvordan overvåger jeg prisændringer i webshops?

Kør det samme workflow til produktlister igen, og sammenlign den nye priskolonne med din tidligere eksport. Guiden til Morrisons-produkter forklarer, hvordan du gemmer daterede observationer og skelner mellem More Card-tilbud og almindelige priser. Brug en stabil produkt-URL til at matche rækker. Prisen i produktlisten kan afvige fra produktsiden eller variere mellem produktvarianter.

Hvordan scraper jeg produktoplysninger fra webshops?

Angiv én kategori-URL eller URL til alle produkter, bed om konkrete felter som produktnavn, URL, vist pris og billed-URL, og knyt derefter hvert felt til en output property. Kontrollér de første rækker, før du øger sidegrænsen.

Hvordan scraper jeg flere webshops på én gang?

Site Scraper accepterer én start-URL pr. kørsel. Kør den separat for hver webshop eller kategori, og saml derefter resultaterne i en collection, hvis det er relevant. Dækningen afhænger af de tilgængelige sider og din sidegrænse.

Er det lovligt at scrape websites?

Undersøg den enkelte webshops vilkår og tilladelser, før du indsamler dens data. At data er offentligt synlige, er ikke i sig selv en tilladelse, og reglerne varierer fra website til website og mellem forskellige lande.