For å fjerne dupliserte CSV-rader på en trygg måte må du finne kolonnen som identifiserer hver oppføring, kontrollere de foreslåtte gruppene og deretter fjerne overflødige rader eller slå sammen verdiene du vil beholde. Dette fungerer både for én CSV-fil og for flere filer som er importert til samme Datablist-samling.
Bruk e-postadresse, telefonnummer, bedriftsnettsted, SKU eller en annen stabil identifikator i første runde. Hvis verdiene har ulike stavemåter eller formater, kan du bruke Smart, fuzzy eller fonetisk matching og beholde usikre grupper for manuell gjennomgang.
Slå sammen duplikater fra CSV-filer
Datablist er velegnet for dataoperasjoner som ikke lar seg utføre i regneark. Bruk verktøyet når du trenger en god CSV-editor på nett.
I denne veiledningen arbeider vi med to CSV-filer som inneholder tusenvis av oppføringer. Vi laster dem inn i én samling og fjerner duplikater basert på én av de fire kolonnene. Duplikatfjerning fungerer også med én enkelt CSV-fil.
📘 Last ned CSV-filene til veiledningen
Filene du kan laste ned, har fire kolonneoverskrifter: firstname, lastname, email og profession (stillingstittel). Fil 1 inneholder 1 000 datarader, mens fil 2 inneholder 1 003. Det gir totalt 2 003 rader før duplikatene fjernes. Målet er å slå sammen oppføringer med samme e-postadresse.
Hvis e-postfeltet inneholder flere adresser i samme celle, bør du dele CSV-celler med flere verdier i separate rader før du søker etter duplikater. Er kildefilen for stor til å importeres eller gjennomgås på en trygg måte, kan du dele den store CSV-filen før du fjerner duplikater.
Prosessen for å slå sammen duplikater kan oppsummeres slik:
- Last CSV-filene inn i en Datablist-samling
- Velg egenskapene som skal brukes til å finne duplikater
- Slå automatisk sammen duplikater uten konflikter
- Slå sammen gjenværende duplikater manuelt
Trinn 1: Last CSV-filer inn i en Datablist-samling
Opprett en ny samling
Første trinn er å laste CSV-filen inn i Datablist. Åpne Datablist – ingen registrering nødvendig for å komme i gang.
Klikk på knappen «New collection» med + for å opprette en ny samling. Gi samlingen et navn og et ikon når den er opprettet.
Klikk deretter på Import CSV.
Opprett egenskaper for CSV-filen
Når CSV-filen er lastet inn, kan du opprette egenskaper i samlingen basert på navnene på CSV-kolonnene. Datablist viser alle kolonnene i CSV-filen, slik at du kan opprette en egenskap for hver av dem.
CSV-filer angir ikke kolonnetyper. Datablist foreslår typer ut fra de importerte verdiene, slik at det blir enklere å sortere og filtrere dem. Kontroller forslagene før du importerer.
Jeg beholder identifikatorer som SKU, konto-ID og postnummer som Text. Hvis for eksempel 00127 konverteres til Number, forsvinner de innledende nullene, og verdien som brukes til matching, endres. Les veiledningen om egenskapstyper hvis du er usikker på hvilken type du bør velge.
Kontroller og importer
I kontrolltrinnet vises CSV-radene direkte fra filen. Kontroller at dataene er riktig formatert og konsekvente. Klikk deretter på «Import items», så er du ferdig! 💪
Gjenta for de andre CSV-filene
Nå har du en samling med ferdig konfigurerte egenskaper. Bruk «Import CSV/Excel» for å importere de andre CSV- eller Excel-filene til den samme samlingen.
Trinn 2: Finn duplikater
Når CSV-filene er lastet inn, åpner du Clean > Merge duplicates. Velg i stedet Remove duplicates hvis de ekstra radene ikke inneholder data du trenger.
Du kan velge mellom to moduser:
- All Properties sammenligner hele raden.
- Selected Properties sammenligner bare kolonnene som identifiserer oppføringen.
Her er egenskapen email tilstrekkelig til å identifisere en kontakt. Du kan derfor velge modusen Selected Properties og egenskapen email.
For de to filene i veiledningen velger du Exact matching for email for å kontrollere antallet: Åtte duplikatgrupper inneholder to rader hver. Når alle de åtte gruppene er redusert til én rad hver, skal den eksporterte CSV-filen inneholde 1 995 datarader, utenom kolonneoverskriften. Hvis antallet avviker, bør du kontrollere at begge filene bare er importert én gang, at email er valgt som matchingkolonne, og at ingen grupper fortsatt venter på behandling.
Hvis aliaser eller innpakninger gjør at verdiene er forskjellige, kan du bruke den e-postspesifikke arbeidsflyten for å fjerne slike e-postduplikater.
Selve kontrollen er skrivebeskyttet. Resultatvisningen viser gruppene, forklarer hvorfor de ble matchet, og skiller Ready-grupper fra treff som må gjennomgås.
Fjern dupliserte CSV-rader uten sammenslåing
Hvis du bare vil fjerne rader, velger du Remove duplicates i resultatvisningen:
- Kontroller Record to keep. Standardvalget er Most Complete. Andre regler for valg av oppføring krever et betalt abonnement. Den valgte raden forblir uendret.
- Åpne noen av gruppene, og sammenlign radene merket Keep og Remove. Kontroller om radene som skal fjernes, inneholder et telefonnummer, et notat eller en nyere verdi du fortsatt trenger.
- Hvis disse verdiene er viktige, velger du Merge and preserve data og følger trinn 3 nedenfor. Når du bare fjerner en rad, kopieres ikke ekstra verdier til raden som beholdes.
- Når Ready-gruppene samsvarer med det du ønsker, klikker du på Remove ready duplicates. Les eventuelle advarsler om tap av data før du bekrefter.
To identiske rader med samme e-postadresse kan for eksempel reduseres til én rad. Har to rader samme e-postadresse, men forskjellige telefonnumre, må du ta et valg: Behold én oppføring uendret, eller slå sammen telefonnumrene i måloppføringen.
Velg matchingkolonnene før du bestemmer hvilken rad som skal beholdes. All Properties finner fullstendig identiske rader. Selected Properties kan gruppere samme kontakt selv om stillingstitler eller telefonnumre er forskjellige. Et felles bedriftsnettsted alene er for generelt når flere kontakter arbeider i samme bedrift.
Ta vare på de opprinnelige CSV-filene. Etter behandlingen bør du sammenligne antallet fjernede rader med gruppene du har gjennomgått, kontrollere identifikatorene som er beholdt, og eksportere den ryddede samlingen som CSV. Rader som fortsatt venter på gjennomgang, kan bli værende i samlingen. En fullført behandling betyr derfor ikke nødvendigvis at alle mulige duplikater er løst.
Trinn 3: Slå sammen duplikater automatisk
Velg Merge and preserve data når de sekundære CSV-radene inneholder nyttige verdier. Datablist velger én måloppføring, fyller ut tomme egenskaper og bruker konfliktreglene dine før de sekundære radene slettes.
Forhåndsvisningen skiller Ready-grupper fra grupper med uløste konflikter. Les dokumentasjonen for Duplicate Finder for en fullstendig oversikt over gjennomgang, survivorship og innstillinger for valg av oppføring.
Utvid Resolve conflicting values for å se hvilke egenskaper som fortsatt mangler en regel.
Slå sammen rader uten konflikter
Algoritmen «Merge non-conflicting duplicates» utfører en «smart merge». Den slår sammen oppføringer med like eller utfyllende verdier.
Følgende duplikater:
email | First Name | Last Name
james@gmail.com | James
james@gmail.com | | Bond
Slås sammen til:
email | First Name | Last Name
james@gmail.com | James | Bond
Kombiner verdier fra duplikater
Å kombinere eller konsolidere duplikatverdier er ideelt når duplikatene inneholder motstridende verdier, men du likevel vil slå dem sammen uten å miste data.
Her kombineres for eksempel egenskapen Phone med semi-colon:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Resultatet blir:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Alle egenskaper som inneholder tekst, kan kombineres. Du kan bruke skilletegnene line break, semi-colon, comma og space. Én eller flere egenskaper kan kombineres under sammenslåingen.
Sammenslåing av dupliserte oppføringer og kombinering av verdier er ideelt for rydding av leads og CRM-data. Slå sammen alle dupliserte leads, og kombiner egenskapene Phone, Email og Notes for å få en ryddig liste. Når du har eksportert den rensede CSV-filen med leads, kan du importere den på nytt i CRM-systemet.
Behold verdien i den valgte oppføringen
Denne regelen beholder verdien fra den valgte måloppføringen og forkaster de andre motstridende verdiene.
Most Complete er standardregelen for Record to keep. Med et betalt abonnement kan du velge andre regler eller velge feltverdier individuelt ved hjelp av survivorship-regler.
Bruk alternativet drop conflicting values for:
- Tekniske egenskaper som
Account Id, der det bare kan finnes én verdi. - Egenskaper av typen «Relation», som ikke kan ha flere verdier, for eksempel
Lead ownerogAccount. - Egenskaper som ikke er tekst og derfor ikke kan kombineres, for eksempel dato og klokkeslett som
Last ActivityogContacted on, samt avmerkingsbokser.
Trinn 4: Manuell sammenslåingsassistent
Åpne Review group når en duplikatgruppe krever en manuell avgjørelse. Med Merging Assistant kan du velge måloppføringen og verdien som skal beholdes for hver egenskap.
Måloppføringen du velger manuelt, beholder Datablist-ID-en sin. De andre radene blir sekundære oppføringer.
Kontroller hver egenskap, velg verdiene du vil beholde, og bekreft sammenslåingen. Du kan også utelate en rad fra duplikatgruppen eller hoppe over hele gruppen.
Eksporter som CSV ved behov
Gratulerer – du har fjernet duplikatene fra CSV-filene! Hvis du vil bruke resultatet i et annet verktøy, klikker du på «Export» for å eksportere samlingen som en ny CSV-fil.
FAQ
Hvilke andre dataoperasjoner tilbyr Datablist?
CSV-filer brukes overalt til å definere strukturerte data for programvare og datasett. Selv om formatet er svært utbredt, er det ofte krevende å bearbeide CSV-filer og krever gjerne teknisk kunnskap.
Regneark er tilstrekkelige for enkle operasjoner. De har imidlertid klare begrensninger når du skal:
📘 Slå sammen CSV-filer via en unik kolonne
Hvis du har flere CSV-filer som skal slås sammen ved hjelp av en unik kolonne, kan du lese veiledningen om å slå sammen CSV-filer.
Kan Datablist håndtere store CSV-filer?
Free-abonnementet støtter opptil én million oppføringer per samling i nettleserens lagring. Betalte abonnementer støtter import av opptil to millioner oppføringer per samling. Store lokale operasjoner avhenger fortsatt av nettleseren og enheten. Se hvordan du kan redigere store CSV-filer på nett.
Er duplikatfjerningen bedre enn funksjonene i Microsoft Excel og Google Sheets?
Regnearkverktøy som Microsoft Excel og Google Sheets har funksjoner for duplikatfjerning. De fungerer ved å fjerne like rader. For forretningsdata er det sjelden ideelt å bare slette rader.
Datablist viser duplikatgruppene før filen endres. Du kan fjerne overflødige rader, slå sammen utfyllende verdier, løse konflikter eller la usikre grupper stå urørt.
Hvis du har spørsmål, kan du kontakte oss.