Ta bort och slå ihop dubbletter i CSV-filer online

Så tar du bort dubbletter bland CSV-rader på ett säkert sätt: matcha kolumnen som identifierar varje post, granska de föreslagna grupperna och ta sedan bort överflödiga rader eller slå ihop värdena du vill behålla. Metoden fungerar för både en enskild CSV-fil och flera filer som importerats till samma Datablist-samling.

Börja med e-postadress, telefonnummer, företagets webbplats, SKU eller någon annan stabil identifierare. Om värdena skiljer sig åt i stavning eller formatering kan du använda Smart, fuzzy eller phonetic matching och behålla osäkra grupper för granskning.

Slå ihop dubbletter från CSV-filer

Datablist passar utmärkt för datahantering som inte är möjlig i kalkylblad. Använd det när du behöver en smidig CSV-editor online.

I den här guiden arbetar vi med två CSV-filer som innehåller tusentals poster. Vi läser in dem i en enda samling och tar bort dubbletter baserat på en av de fyra kolumnerna. Samma metod fungerar även för en enskild CSV-fil.

Ladda ned CSV-filerna för guiden: CSV-fil 1 och CSV-fil 2

Filerna du kan ladda ned har fyra kolumnrubriker: firstname, lastname, email och profession (jobbtitel). Fil 1 innehåller 1 000 datarader och fil 2 innehåller 1 003, alltså totalt 2 003 rader före deduplicering. Vi vill slå ihop poster som har samma e-postadress.

Om e-postfältet innehåller flera adresser i samma cell bör du dela upp CSV-celler med flera värden i separata rader innan du söker efter dubbletter. Om källfilen är för stor för att importeras eller granskas säkert kan du dela upp den stora CSV-filen före dedupliceringen.

Processen för att slå ihop dubbletter kan sammanfattas så här:

1. Läs in dina CSV-filer i en Datablist-samling
2. Välj egenskaperna som ska användas för dubblettkontrollen
3. Slå automatiskt ihop dubbletter utan konflikter
4. Slå ihop återstående dubbletter manuellt

Steg 1: Läs in CSV-filer i en Datablist-samling

Skapa en ny samling

Det första steget är att läsa in CSV-filen i Datablist. Öppna Datablist (ingen registrering krävs) för att komma igång.

Skapa en ny samling genom att klicka på knappen "New collection" med +. När samlingen har skapats ger du den ett namn och en ikon.

Klicka sedan på knappen Import CSV.

Skapa egenskaper för CSV-filen

När CSV-filen har lästs in kan du skapa egenskaper för samlingen utifrån CSV-filens kolumnnamn. Datablist visar alla kolumner som hittats i filen, så att du kan skapa en egenskap för var och en.

CSV-filer anger inte kolumntyper. Datablist föreslår typer utifrån de importerade värdena för att göra dem enklare att sortera och filtrera. Granska förslagen innan du importerar.

Jag behåller identifierare som SKU, konto-ID och postnummer som Text. Om exempelvis 00127 konverteras till Number försvinner de inledande nollorna, vilket ändrar matchningsnyckeln. Läs guiden om egenskapstyper om du är osäker på vilken typ du ska välja.

Granska och importera

I granskningssteget visas CSV-raderna direkt från filen. Kontrollera att informationen är korrekt formaterad och konsekvent. Klicka sedan på knappen "Import items" – klart! 💪

Upprepa för dina andra CSV-filer

Nu har du en samling med konfigurerade egenskaper. Upprepa processen "Import CSV/Excel" för att importera dina övriga CSV- eller Excel-filer till samma samling.

Steg 2: Hitta dubbletter

När CSV-filerna har lästs in öppnar du Clean > Merge duplicates. Välj i stället Remove duplicates om de extra raderna inte innehåller någon information du behöver behålla.

Det finns två lägen:

• All Properties jämför hela rader.
• Selected Properties jämför endast kolumnerna som identifierar posten.

Här räcker egenskapen email för att identifiera en kontakt. Välj därför läget Selected Properties och egenskapen email.

För de två exempelfilerna väljer du Exact matching för email för att kunna kontrollera antalet: åtta dubblettgrupper innehåller två rader vardera. När alla åtta grupper har reducerats till en rad var ska den exporterade CSV-filen innehålla 1 995 datarader, exklusive rubrikraden. Om du får ett annat antal kontrollerar du att båda filerna bara importerats en gång, att matchningskolumnen är email och att inga grupper återstår att behandla.

Om alias eller wrappers gör att värdena skiljer sig åt kan du använda det särskilda arbetsflödet för e-post för att deduplicera dessa varianter.

Kontrollen är skrivskyddad och ändrar inga data. Resultatvyn visar grupperna, förklarar varför de matchade och skiljer grupper som är Ready från träffar som måste granskas.

Ta bort dubblettrader utan att slå ihop dem

Om du enbart vill ta bort rader väljer du Remove duplicates i resultatvyn:

1. Kontrollera Record to keep. Standardalternativet är Most Complete. Andra regler för val av post kräver en betalplan. Den valda raden förblir oförändrad.
2. Öppna några grupper och jämför raderna märkta Keep och Remove. Kontrollera om raderna som ska tas bort innehåller ett telefonnummer, en anteckning eller ett nyare värde som du behöver.
3. Om värdena är viktiga väljer du Merge and preserve data och följer steg 3 nedan. När du enbart tar bort dubbletter kopieras inga extra värden till raden som behålls.
4. När Ready-grupperna motsvarar det resultat du vill ha klickar du på Remove ready duplicates. Granska eventuella varningar om dataförlust innan du bekräftar.

Två identiska rader med samma e-postadress kan exempelvis reduceras till en rad. Två rader med samma e-postadress men olika telefonnummer kräver ett beslut: antingen behåller du en post oförändrad eller så slår du ihop telefonnumren i målposten.

Välj matchningskolumner innan du bestämmer vilken rad som ska behållas. All Properties hittar fullständigt identiska rader. Selected Properties kan gruppera samma kontakt även om jobbtitlar eller telefonnummer skiljer sig åt. Enbart en gemensam företagswebbplats ger en alltför bred matchning när flera kontakter arbetar på samma företag.

Behåll dina ursprungliga CSV-filer. Efter bearbetningen bör du jämföra antalet borttagna rader med grupperna du granskat, kontrollera identifierarna som behållits och exportera den rensade samlingen som CSV. Rader som fortfarande väntar på granskning kan ligga kvar i samlingen. Att en batch är färdig innebär därför inte att alla möjliga dubbletter har hanterats.

Steg 3: Slå ihop dubbletter automatiskt

Välj Merge and preserve data när sekundära CSV-rader innehåller värdefull information. Datablist väljer en målpost, fyller i tomma egenskaper och tillämpar dina konfliktregler innan de sekundära raderna tas bort.

Förhandsgranskningen skiljer grupper som är Ready från grupper med olösta konflikter. Läs dokumentationen för Duplicate Finder för fullständig information om granskning, survivorship och inställningar för val av post.

Expandera Resolve conflicting values för att se vilka egenskaper som fortfarande behöver en regel.

Slå ihop rader utan konflikter

Algoritmen "Merge non-conflicting duplicates" utför en "smart merge". Den slår ihop poster med liknande eller kompletterande värden.

Följande dubbletter:

email            |     Förnamn      |    Efternamn
james@gmail.com  |     James
james@gmail.com  |                  |     Bond

slås exempelvis ihop till:

email            |     Förnamn      |    Efternamn
james@gmail.com  |     James        |     Bond

Kombinera värden från dubbletter

Att kombinera eller konsolidera dubblettvärden passar perfekt när dubbletterna innehåller motstridiga värden, men du ändå vill slå ihop dem utan dataförlust.

Så här kan egenskapen Phone exempelvis kombineras med semikolon:

email            |       Phone       |     Förnamn      |    Efternamn
james@gmail.com  |  +33 1 34 65 23   |      James       |
james@gmail.com  |  06 13 42 78 23   |                  |     Bond

Resultatet blir:

email            |   Phone                         |     Förnamn      |    Efternamn
james@gmail.com  |  +33 1 34 65 23;06 13 42 78 23  |     James        |     Bond

Alla egenskaper som innehåller text kan kombineras. Tillgängliga avgränsare är line break, semi-colon, comma och space. Du kan kombinera en eller flera egenskaper under sammanslagningen.

Att slå ihop dubblettposter och kombinera värden är perfekt för rensning av leads och CRM-data. Slå ihop alla dubbletter bland dina leads och kombinera egenskaperna Phone, Email och Notes för att få en ren lista. När din rensade lead-CSV har exporterats importerar du den bara till ditt CRM igen.

Behåll värdet från den valda posten

Den här regeln behåller värdet från den valda målposten och tar bort övriga motstridiga värden.

Most Complete är standardregeln för Record to keep. Med betalplaner kan du välja andra regler eller välja fältvärden separat med survivorship-regler.

Använd alternativet drop conflicting values för:

• Tekniska egenskaper som Account Id, där endast ett värde är tillåtet.
• Egenskaper av typen "Relation" som inte kan innehålla flera värden, exempelvis Lead owner och Account.
• Egenskaper som inte är text och därför inte kan kombineras, exempelvis datum och tid som Last Activity och Contacted on samt kryssrutor.

Steg 4: Slå ihop dubbletter manuellt

Öppna Review group när en dubblettgrupp kräver ett manuellt beslut. Med Merging Assistant kan du välja målpost och vilket värde som ska behållas för varje egenskap.

Den manuellt valda målposten behåller sitt Datablist-ID. De andra raderna blir sekundära poster.

Granska varje egenskap, välj värdena som ska behållas och bekräfta sammanslagningen. Du kan också utesluta en rad från dubblettgruppen eller hoppa över hela gruppen.

Exportera till CSV vid behov

Grattis, du har nu tagit bort dubbletterna i dina CSV-filer! Om du behöver använda resultatet i ett annat verktyg klickar du på knappen "Export" för att exportera samlingen som en ny CSV-fil.

FAQ

Vilka andra dataåtgärder finns i Datablist?

CSV-filer används överallt för att definiera strukturerade data i program och dataset. Trots att formatet är så vanligt kan CSV-hantering vara krånglig och ofta kräva tekniska kunskaper.

För enkla åtgärder räcker kalkylblad. De har däremot begränsningar när du vill:

• Slå ihop CSV-filer
• Ta bort dubblettrader i en CSV-fil
• Rensa data

Tips: Om du har flera CSV-filer som du vill sammanfoga med hjälp av en unik kolumn kan du följa guiden om att sammanfoga CSV-filer.

Kan Datablist hantera stora CSV-filer?

Gratisplanen stöder upp till en miljon objekt per samling i webbläsarens lagring. Betalplanerna stöder import av upp till två miljoner objekt per samling. Stora lokala åtgärder är fortfarande beroende av webbläsaren och enheten. Se hur du kan redigera stora CSV-filer.

Är dedupliceringen bättre än Remove Duplicates i Excel och Google Sheets?

Kalkylbladsverktyg som Microsoft Excel och Google Sheets har funktioner för deduplicering. De fungerar genom att ta bort liknande rader. För affärsdata är det sällan optimalt att bara radera rader.

Datablist visar dubblettgrupperna innan filen ändras. Du kan ta bort överflödiga rader, slå ihop kompletterande värden, lösa konflikter eller lämna osäkra grupper orörda.

Om du har frågor är du välkommen att kontakta oss.