Sådan scraper du Shopify-butikker uden kode eller API

Hvis du vil scrape Shopify-butikker uden at skrive kode, skal du begynde med en URL til en produktoversigt, konfigurere AI Agent - Site Scraper i Datablist og definere felterne for én produktrække. Test én side, før du tilføjer paginering. Gennemgå derefter produktlinks, priser og dækning, inden du eksporterer listen.

Jeg tager udgangspunkt i en kategoriside, fordi den giver scrapingen en klar afgrænsning. En hel butik kan indeholde produkter, kollektioner, artikler, anbefalinger og dublerede links. Når du definerer præcis, hvilke poster du har brug for, bliver både prompten og kvalitetstjekket enklere.

En gennemført scraping er ikke et bevis på, at du har indsamlet hele kataloget. Denne guide viser, hvordan du opbygger en brugbar produktliste og samtidig dokumenterer kilder og afgrænsninger tydeligt.

Sådan scraper du Shopify-butikker

Vælg metode ud fra de oplysninger, du skal bruge, og den adgang, du har. Til synlige produktkort er en konfigureret AI-kilde et praktisk udgangspunkt. Hvis du ejer butikken og har adgang til en egnet produkteksport, bør du bruge den i stedet for at genskabe de samme data fra offentlige sider.

Datablists AI Agent

Kilden opretter rækker ud fra en konfigureret side. Du beskriver posten og de forventede felter, kontrollerer resultatet og udvider kørslen, når stikprøven fungerer. Den skal stadig konfigureres korrekt: Prompten fjerner ikke behovet for at kontrollere priser, identiteter og manglende værdier.

Click and point-værktøjer

Selektorbaserede værktøjer kan være velegnede, når sidens struktur er stabil, og de ønskede felter er klart defineret. De kræver CSS-selektorer og ny validering, når layoutet ændres. Se selektorbaseret scraping for denne tilgang i stedet for at antage, at enhver scraper passer til alle webshops.

Scraping APIs

Et API-workflow kan passe til en udvikler eller en eksisterende integration. Det har sine egne krav til input, adgang, paginering og output. I denne guide håndterer AI-kilden workflowet for synlige produktsider; den giver ikke adgang til butikkens private data.

Scraping af Shopify-butikker med AI: Trin for trin

Før du konfigurerer kilden, skal du beslutte, om én række repræsenterer ét produkt eller én variant. Et produktkort på en kategoriside viser måske en fra-pris og ét billede, mens varianterne har forskellige SKU'er, størrelser, priser eller lagerstatusser. Beskriv derfor ikke et udtræk på kortniveau som en komplet variantoversigt.

1. Opret en collection

Åbn Datablist, og opret en collection til de genererede produktrækker. Notér butikkens URL samt den kategori eller de filtre, du vil indsamle data fra.

Sørg for, at separate batches kan identificeres, når du kombinerer flere kategorier eller butikker. En produkttitel alene er en dårlig identifikator på tværs af butikker.

2. Vælg kilden

Åbn See all sources, og vælg AI Agent - Site Scraper. Den genererer rækker fra den konfigurerede URL, i modsætning til en enrichment, der behandler URL'er, som allerede findes i din collection.

Hvis du allerede har produkt-URL'er og skal bruge flere oplysninger, kan du køre et separat enrichment-workflow på de eksisterende rækker. Indsamling af produktkort og besøg på hver produktside er to forskellige trin.

3. Angiv URL og prompt til produktoversigten

Indsæt URL'en til én kategori eller ét produktresultat i Url to scrape. Kontrollér først siden i din browser: De ønskede produkter samt korrekt valuta, lokation og filtre skal være synlige på siden.

Brug denne prompt som udgangspunkt, og tilpas derefter felterne til de oplysninger, der faktisk vises på siden:

URL'en konfigureres separat fra prompten, så der er ikke brug for en rækkevariabel her. Hvis du senere enrich'er URL'er til produktsider, skal du bevare produktets identifikator gennem dette andet trin.

4. Test paginering separat

Lad Enable Pagination være deaktiveret i den første test. Når du har gennemgået siden, kan du aktivere indstillingen og vælge Max Pages for at afgrænse din batch.

Kilden kan identificere linket til den næste resultatside på den aktuelle side og fortsætte behandlingen på de efterfølgende sider. En maksimumgrænse begrænser antallet af sider, ikke antallet af produkter eller den verificerede dækning. Funktioner som ”Indlæs flere” og infinite scroll viser muligvis ikke et brugbart link til næste side, selv om indholdet vises i browseren.

Læs om paginering ved web scraping for at forstå forskellen mellem et antal sider og et komplet datasæt. Beregn ikke en præcis katalogstørrelse ud fra et antaget antal produktkort pr. side.

5. Definér outputfelterne

Under Expected Item Outputs skal du konfigurere Output Name, Output Description og Output Type for hvert felt.

Lad i første omgang Displayed Price være et tekstfelt, så værdier som ”Fra 199 kr.” eller et prisinterval bevarer deres betydning. Opret først et separat numerisk Amount-felt, når du har defineret, hvilken pris tallet repræsenterer. Du bør ikke slå tilbudspris, sammenligningspris og valuta sammen til ét uforklaret tal.

Bevar Product URL som identifikator for poster på kortniveau sammen med kildens Page Scraped-output. Hvis opgaven senere skal omfatte varianter, bør du tilføje en egnet variant- eller SKU-identifikator i stedet for at samle alle varianter under den samme produkt-URL.

6. Gennemgå de avancerede indstillinger

Under Advanced Settings skal du kontrollere LLM Model og Max iterations i forhold til opgaven. Denne guide anbefaler ikke én model som den bedste til alle situationer eller et fast antal trin som tilstrækkeligt for enhver webshop.

Aktivér Website Scraper Option: Render HTML, hvis stikprøven viser, at det ønskede indhold kræver JavaScript-rendering. Rendering kan påvirke forbrug og adgang. Det er ikke nødvendigt på alle sider og garanterer ikke, at alt skjult indhold bliver tilgængeligt.

Vælg Continue, tilknyt outputfelterne, og vælg Run Import Now for at køre den første test.

7. Kontrollér resultatet, før du udvider kørslen

Sammenlign flere af de genererede rækker med siden. Kontrollér, at produktnavne, priser, billeder og lagertekster tilhører det samme produkt. Lad manglende værdier stå tomme, og undersøg fejl i hentning eller udtræk.

Som eksempel på resultatets struktur kan du forestille dig tre produktkort: Acme T-shirt med ”Fra 199 kr.”, Acme-jakke med en tilbudsmærkat og Acme-krus uden synlig lagerstatus. Bevar disse forskelle i stedet for at opfinde én pris eller erklære alle varer på lager.

Eksemplerne viser den ønskede struktur for posterne, ikke målte scraping-resultater. På efterfølgende sider bør du kontrollere gentagne Product URL-værdier og den senest behandlede side. Registrér tidspunktet for indsamlingen, de anvendte filtre, kørselsgrænsen og uløste fejl.

Sådan ser du, om en webshop bruger Shopify

Det kan hjælpe dig med at vælge workflow, hvis du ved, hvilken platform butikken bruger, men det er stadig den synlige side, du skal teste. At teknologien matcher, betyder ikke nødvendigvis, at produkterne er tilgængelige, eller at en kategori har et bestemt layout.

Har du en liste med domæner, kan et technology-enrichment-workflow give et signal, som du kan gennemgå sammen med websitet. Brug den aktuelle enrichment-definition, og kontrollér de returnerede teknologier.

En teknologirapport i browseren kan give endnu et signal, mens du undersøger et website. Kontrollér den registrerede platform i forhold til det ønskede domæne; en rapport er ikke en eksport af produktdata.

Referencer til Shopify i sidens kildekode kan understøtte vurderingen af platformen. En enkelt tekststreng kan dog også forekomme i indlejrede ressourcer eller irrelevant tekst, så sammenhold den med andre tegn, før du klassificerer butikken.

Hvis du også skal bruge regional kontekst om webshoppen, kan du udtrække Shopify.country-værdien. Den dokumenterer ikke, hvor virksomheden er registreret.

Sådan finder du Shopify-butikker

Hvis du skal bruge butiksdomæner frem for produkter, bør du begynde med et workflow til virksomhedssøgning. Guiden til at finde virksomheder, der bruger Shopify, beskriver denne separate opgave. Forvent ikke, at scraping af en produktkategori finder alle butikker på platformen.

Søgninger som site:myshopify.com kan give dig mulige URL'er, som du derefter kan gennemgå. De udelader dog butikker med andre domæner og kan medtage sider, der ikke passer til projektet. Søgeresultaterne er en kandidatliste, ikke en komplet oversigt over webshops.

Resultater fra IP-baserede opslag er også kun kandidater, hvor både domæne og platform skal valideres. Hostingforhold kan ændre sig, så en gammel IP-liste bør ikke betragtes som en komplet eller aktuel liste over Shopify-virksomheder.

Når domænerne er godkendt, skal du vælge én repræsentativ URL til en produktoversigt for hver planlagt batch. Hold domænesøgning, produktudtræk og enrichment af produktsider som tydeligt adskilte trin, så du kan dokumentere, hvor hver post kommer fra.

Eksportér den kvalitetssikrede produktliste

Eksportér Product URL, Page Scraped, de kontrollerede felter og konteksten for din indsamling samlet. Kontrollér unikke produktidentifikatorer i stedet for at sidestille det rå antal rækker med antallet af forskellige produkter. For varianter skal du bruge det identitetsniveau, du definerede fra begyndelsen.

Brug først listen til produktresearch eller efterfølgende sammenligninger, når du har valideret de felter, formålet kræver. Priser, lagerstatus og katalogets omfang kan ændre sig efter indsamlingen. Bevar derfor tidsstemplet, så andre teams forstår, at dataene er et øjebliksbillede. Hvis tidsstemplet optræder som en numerisk Unix-værdi i din CSV-fil, kan du bruge dette workflow til at konvertere timestamp til DateTime. Kontrollér en kendt observation, før du sorterer dine øjebliksbilleder. Ved sammenligninger på tværs af butikker forklarer guiden til scraping af webshops, hvordan du holder tilbudsbetingelser og daterede observationer adskilt fra det aktuelle katalog.

Se eksport til CSV og Excel, når du er klar til at eksportere. Du kan finde endnu et eksempel med oversigtssider i guiden til scraping af kataloger.

Ofte stillede spørgsmål

Kan jeg scrape alle produkter og varianter i én kørsel?

Det bør du ikke gå ud fra. Resultatet afhænger af startkategorien, pagineringslinks, adgang, sidegrænse og de felter, der er synlige på hver side. Produkter på kortniveau og en variantoversigt er to forskellige outputs. Validér dækningen, før du betegner en eksport som komplet.

Kan jeg scrape beskrivelser fra produktsider?

Hvis produktkortet ikke indeholder beskrivelsen, skal du først indsamle Product URL-værdierne. Konfigurér derefter en separat enrichment, der gennemgår siderne og bevarer produktets identifikator. Kilden til produktoversigten garanterer ikke, at alle linkede produktsider er blevet besøgt.

Kan jeg gentage scrapingen for at overvåge ændringer?

Du kan indsamle et nyt øjebliksbillede og sammenligne de kontrollerede identifikatorer og felter. Bevar indsamlingstidspunkter og kildeafgrænsninger, og beslut, hvordan eksisterende værdier skal håndteres. En gentaget produkttitel er ikke i sig selv en pålidelig nøgle på tværs af butikker eller varianter.

Kan samme workflow bruges til andre webshops?

Kilden kan fungere med andre produktsider, men adgang, layout, paginering og feltdefinitioner varierer. Test en stikprøve fra det pågældende website i stedet for at antage, at en Shopify-konfiguration kan genbruges uændret.

Hvilke grænser og omkostninger skal jeg kontrollere?

Kontrollér den aktuelle grænse for din collection, kildeindstillingerne, tilgængelige credits og forbruget i stikprøven. En kvote til cloud sync er ikke en grænse for produktscraping. En sidegrænse garanterer hverken, at kørslen bliver komplet, eller at prisen pr. produkt er fast.