Slik scraper du nettbutikker uten kode med AI Agent

Habib Benabdeslam
Habib Benabdeslam
9 min lesetid
Scrape produktlister fra nettbutikker
Slik scraper du nettbutikker uten kode med AI Agent
Innholdsfortegnelse
  1. Steg 1 – Forstå scraping av nettbutikker
  2. Steg 2 – Forbered scraping av nettbutikker
  3. Steg 3 – Kom i gang med scraping av nettbutikker
    1. Skill salgsprisen fra opprinnelig pris
  4. FAQ

For å hente produktoppføringer fra nettbutikker uten kode gir du Datablists AI Agent - Site Scraper en kategori-URL og en prompt med feltene du trenger. Aktiver paginering hvis butikken har flere produktsider, angi en sidegrense, og kontroller produkt-URL-er og priser i de første resultatene. I denne guiden bruker vi en kategoriside fra Gymshark som eksempel. Antall produkter og tilgjengelige felt avhenger av nettbutikken.

Input: én kategori-URL eller URL til alle produkter per kjøring. Output: én rad per produkt som blir funnet, med felt som navn, produkt-URL, vist pris og bilde-URL når dette er tilgjengelig. Kontroll: Sammenlign noen rader med kildesidene, og fjern dupliserte produkt-URL-er før eksport. Hvis du vil hente kundeomtaler i stedet for produktoppføringer, viser arbeidsflyten for Trusted Shops-anmeldelser hvordan du oppretter én rad per omtale og kontrollerer vurderinger, datoer og overlapp mellom sider før analyse.

Steg 1 – Forstå scraping av nettbutikker

Det finnes to måter å scrape produkter fra nettbutikker på:

Du kan enten:

  1. Scrape «Collection/Category»-sider for å hente utvalgte produkter fra en nettbutikk ⬅️ Det er denne metoden vi bruker i dag

    Dette er kategorisiden jeg bruker til å scrape alle produktene
    Dette er kategorisiden jeg bruker til å scrape alle produktene
  2. Starte fra en «All Products»-side når du ønsker bredere dekning. Resultatet er fortsatt begrenset til sidene agenten får tilgang til, og sidegrensen du angir.

    «All Products»-sider gir mindre kontroll over hvilke produkter som hentes
    «All Products»-sider gir mindre kontroll over hvilke produkter som hentes

Konfigurasjonen av AI Agent fungerer på samme måte. Det er bare utgangspunktet som er forskjellig.

Steg 2 – Forbered scraping av nettbutikker

Gode forberedelser er halve jobben, ikke sant? Slik gjør vi klart til å scrape nettbutikken:

  1. Velg en kategori-URL eller URL til alle produktene i nettbutikken du vil undersøke
  2. Registrer deg hos Datablist
  3. Opprett en collection i Datablist

La oss begynne!

For å scrape produkter fra nettbutikker uten kode trenger du et verktøy som lar deg beskrive oppgaven med vanlig språk. Et slikt verktøy er AI Research Agent i Datablist.

Datablists startside
Datablists startside

Når du har registrert deg hos Datablist, må du konfigurere automatiseringen. Jeg viser deg hvordan!

Opprett en ny collection ved å klikke på plusstegnet, eller bruk hurtigtasten «N».

Datablist-siden der du oppretter en ny collection
Datablist-siden der du oppretter en ny collection

Dette ser du når du oppretter en ny collection. Jeg har allerede gitt min et nytt navn (og en fin emoji).

Slik ser en tom collection ut i Datablist
Slik ser en tom collection ut i Datablist

Da er forberedelsene unnagjort. Nå går vi i gang.

Steg 3 – Kom i gang med scraping av nettbutikker

For å begynne å scrape produkter fra nettbutikker må du gjøre tre ting:

  1. Velg «AI Agent - Site Scraper» som kilde
  2. Lim inn en prompt som forklarer AI Agent hva målet ditt er
  3. Opprett en output property for hver type produktinformasjon du vil hente

Nå som vi har gått gjennom det vi skal gjøre, kan vi begynne å scrape!

Klikk på «See all sources» for å konfigurere AI Agent for scraping.

Slik får du tilgang til Datablists omfattende utvalg av datakilder
Slik får du tilgang til Datablists omfattende utvalg av datakilder

Velg deretter «AI Agent - Site Scraper».

Datablists AI Agent Site Scraper lar deg scrape nesten alle sider
Datablists AI Agent Site Scraper lar deg scrape nesten alle sider

Lim inn URL-en til nettsiden du vil hente produkter fra, i det første feltet.

URL-en til kategorisiden jeg vil scrape med AI Agent
URL-en til kategorisiden jeg vil scrape med AI Agent

Skriv deretter en prompt som forklarer AI Agent hvilken informasjon du vil hente fra nettbutikken. Du kan også bruke prompten min nedenfor.

Riktig prompt gjør det mye enklere å hente produkter
Riktig prompt gjør det mye enklere å hente produkter
Prompt for produkthenting

Kontekst: Jeg har en nettbutikk med en liste over produkter.

===

Dette vil jeg at du skal gjøre: Besøk nettstedet og hent alle produktene som vises, sammen med tilhørende informasjon.

===

Slik gjør du det: Besøk nettstedet jeg gir deg en lenke til, og hent all informasjon som vises for hvert produkt.

===

Viktig om oppgaven: Ikke hent informasjon som ikke er knyttet til et produkt, for eksempel call to actions.

===

Dette er informasjonen vi ser etter:

  • Produktnavn
  • Lenke til produktsiden
  • Produktets opprinnelige pris i valutaen som vises
  • Produktkategori: (eksempler: komplette instantmåltider, singleter, sokker)
  • Produktspesifikasjon 1: (eksempler: kompresjonspassform, 40 g protein, premium ankelsokker)
  • Produktspesifikasjon 2: (eksempler: farge, antall, porsjoner)
  • Spesielle merkelapper: (eksempler: nyhet, begrenset opplag, siste sjanse osv. Returner «None» hvis det ikke finnes noen)
  • Absolutt lenke til produktbildet
  • Rabatt i % (hvis tilgjengelig. Returner «None» hvis det ikke finnes noen rabatt)

Ikke returner noe som faller utenfor disse datatypene, og returner bare én opplysning for hver type.

===

Viktig om dataene: Sidene er ikke alltid bygget opp på samme måte, men produktene er tydelig nok merket til at du bør kunne skille de ulike datapunktene fra hverandre.

Skill salgsprisen fra opprinnelig pris

Prompten ovenfor ber om opprinnelig pris og rabatt. Ved prissammenligning ville jeg også hentet den viste salgsprisen. Legg denne blokken til i prompten, og opprett deretter tilsvarende output properties for Vist pris, Valuta og Prisbetingelse ved siden av det eksisterende feltet for opprinnelig pris:

Skill prisene i produktoppføringen

Returner også disse feltene for hvert produkt:
Vist pris: salgsprisen som vises i produktoppføringen, inkludert formuleringer som Fra.
Valuta: valutaen som er uttrykkelig oppgitt på siden. La feltet stå tomt hvis dette er uklart.
Opprinnelig pris: den overstrøkne eller merkede opprinnelige prisen, men bare når den er synlig. Ellers lar du feltet stå tomt.
Prisbetingelse: kopier eventuelle synlige betingelser, som Fra, medlemspris eller valgt variant. Ellers lar du feltet stå tomt.

Ikke beregn en manglende opprinnelig pris ut fra en rabatt. Ikke behandle en startpris som prisen på alle varianter.

For et illustrerende produktkort merket «EUR 24, før EUR 30» kontrollerer du at vist pris er 24, opprinnelig pris er 30 og valutaen er EUR. Ved «Fra EUR 24» beholder du Fra i den viste verdien eller prisbetingelsen, og lar opprinnelig pris stå tom med mindre siden oppgir den.

Test et tilbudsprodukt og et produkt med startpris før du øker Max Pages. Sammenlign verdiene som returneres, med de samme produkt-URL-ene i oppføringen. En startpris og en fast variantpris beskriver ulike tilbud, så sørg for at betingelsene fortsatt er synlige når du sammenligner de eksporterte radene.

Hvis produktoppføringen har mer enn én side, aktiverer du Enable Pagination og setter Max Pages til et lavt tall for den første kjøringen. Sidegrensen styrer hvor mange sider som besøkes, ikke hvor mange produkter som returneres. Kontroller at lenkene til neste side er tilgjengelige. Én enkelt side eller en blokkert neste side gir ikke en komplett produktkatalog.

Det er avgjørende å aktivere paginering når du scraper nettbutikker
Det er avgjørende å aktivere paginering når du scraper nettbutikker

Nå må du opprette et output-felt eller en kolonne for hver type produktinformasjon du vil hente.

Output property for lagring av navnene på produktene som hentes
Output property for lagring av navnene på produktene som hentes

Klikk på «More» for å opprette flere output-felt. Fortsett til du har ett felt for hver informasjonstype.

Opprett så mange properties som du trenger for å lagre produktinformasjonen
Opprett så mange properties som du trenger for å lagre produktinformasjonen

Hvis produktspesifikasjonene skal lagres separat, oppretter du ett felt for hver spesifikasjon. Her er et eksempel:

Eksempel på produktspesifikasjoner
Eksempel på produktspesifikasjoner
Én property for hver spesifikasjon gir en ryddig dataoversikt
Én property for hver spesifikasjon gir en ryddig dataoversikt

💡 Gjør dette for mer presise scrapingresultater

Gi AI Agents konkrete eksempler på produktspesifikasjonene du vil hente. Her er et eksempel basert på Gymsharks singleter (bildet ovenfor):

Produktspesifikasjon 1: Smal passform
Produktspesifikasjon 2: Svart

Når du har opprettet alle output-feltene for informasjonen du vil hente, merker du av for «Advanced Settings».

Aktiver Advanced Settings for å få tilgang til flere scrapingfunksjoner
Aktiver Advanced Settings for å få tilgang til flere scrapingfunksjoner

Nå kan du:

  1. Velge en tilgjengelig modell hvis standardmodellen ikke passer kostnads- eller databehovene dine. Sammenlign et lite utvalg før du kjører en større jobb.
  2. Angi maksimalt antall iterasjoner. Flere iterasjoner kan øke kredittbruken. Les mer om hvordan AI Agents fungerer.
  3. Prøve Render HTML hvis produktene lastes inn med JavaScript og den første kjøringen ikke gir brukbare rader. Kontroller resultatet på nytt etter at funksjonen er aktivert.

Når du har aktivert funksjonen, klikker du på «Continue».

«Render HTML» er en funksjon svært få verktøy tilbyr
«Render HTML» er en funksjon svært få verktøy tilbyr

Klikk deretter på Run import now for å hente produkter fra URL-en som er konfigurert for denne kjøringen.

Det siste klikket før AI Agent begynner å hente produkter
Det siste klikket før AI Agent begynner å hente produkter

Her er et eksempel på et resultat fra website scraper AI Agent. Feltene og antall rader avhenger av kildesiden og prompten din.

Dette er produktene jeg hentet fra nettstedet jeg viste i begynnelsen
Dette er produktene jeg hentet fra nettstedet jeg viste i begynnelsen

💡 Gjør dette for å unngå duplikater

Bruk produkt-URL-en som unik identifikator når nettbutikken gir hvert produkt en stabil URL. Produktnavn kan gjentas for ulike størrelser eller varianter. Unike verdier hindrer dupliserte rader i collection, men hindrer ikke agenten i å besøke sider eller bruke credits ved en senere kjøring.

Se veiledningen nedenfor ⬇️

Velg først den unike identifikatoren. I mitt tilfelle bruker jeg produktlenken, men for deg kan det være et annet felt.

Klikk deretter på kolonneoverskriften og velg «Rename - Settings - Delete».

Kolonnealternativene i Datablist
Kolonnealternativene i Datablist

Merk av for «Do not allow duplicate values», og klikk på «Save Property».

Slik oppretter du en unik identifikator i Datablist
Slik oppretter du en unik identifikator i Datablist

Når dette er gjort, er alt klart. Hvert produkt fra nettbutikken vises bare én gang i collection, selv om du scraper den samme nettbutikken flere ganger.

Du skal nå også se et nøkkelikon i kolonneoverskriften som bekrefter dette.

Alle unike identifikatorer har et nøkkelikon til høyre
Alle unike identifikatorer har et nøkkelikon til høyre

Konklusjon

For å få en brukbar produktliste bør du starte med riktig kategori-URL, bare be om felt som er synlige i produktoppføringen, og holde den første kjøringen liten. Kontroller priser, produktlenker, manglende verdier og paginering før du øker sidegrensen. Følg nettbutikkens regler for tilgang og bruksvilkår.

Kan jeg scrape nettbutikker uten kode?

Ja. Med Datablists AI kan du scrape nettbutikker ved hjelp av instrukser i naturlig språk. Du trenger bare å beskrive oppgaven med vanlig språk, så håndterer AI Agent de tekniske detaljene.

Hvordan overvåker jeg prisendringer i nettbutikker?

Kjør den samme arbeidsflyten for produktoppføringen på nytt, og sammenlign den nye priskolonnen med en tidligere eksport. Produktguiden for Morrisons forklarer hvordan du lagrer daterte observasjoner og skiller More Card-tilbud fra ordinære priser. Bruk en stabil produkt-URL til å matche radene. Prisen i produktoppføringen kan avvike fra produktsiden eller variere mellom varianter.

Hvordan scraper jeg produktdata fra nettbutikker?

Oppgi én kategori-URL eller URL til alle produkter, be om bestemte felt som produktnavn, URL, vist pris og bilde-URL, og knytt hvert felt til en output property. Kontroller de første radene før du øker sidegrensen.

Hvordan scraper jeg flere nettbutikker samtidig?

Site Scraper godtar én start-URL per kjøring. Kjør verktøyet separat for hver nettbutikk eller kategori, og kombiner deretter resultatene i en collection hvis det er nyttig. Dekningen avhenger av hvilke sider som er tilgjengelige, og sidegrensen du har valgt.

Er det lovlig å scrape nettsider?

Kontroller vilkårene og tillatelsene til hver nettbutikk før du samler inn data. At data er offentlig synlige, betyr ikke i seg selv at du har tillatelse. Reglene varierer mellom nettsteder og jurisdiksjoner.