Sådan fjerner og fletter du dubletter i CSV online

Hvis du vil fjerne dublerede CSV-rækker på en sikker måde, skal du matche den kolonne, der identificerer en post, gennemgå de foreslåede grupper og derefter fjerne overflødige rækker eller flette de værdier, du vil bevare. Det fungerer både med én CSV-fil og med flere filer, der er importeret til den samme Datablist-collection.

Brug e-mail, telefonnummer, virksomhedswebsite, SKU eller en anden stabil identifikator i første gennemgang. Hvis værdierne indeholder forskelle i stavning eller formatering, kan du bruge Smart, fuzzy eller fonetisk matching og beholde usikre grupper til manuel gennemgang.

Flet dubletter fra CSV-filer

Datablist er velegnet til datahandlinger, som ikke er mulige i traditionelle regneark. Brug værktøjet, når du har brug for en effektiv online CSV-editor.

I denne guide arbejder vi med to CSV-filer, som indeholder tusindvis af poster. Vi indlæser dem i én collection og deduplikerer posterne ud fra én af de fire kolonner. Deduplikering fungerer også med en enkelt CSV-fil.

Du kan downloade guidens CSV-filer her: CSV-fil 1 og CSV-fil 2

Filerne har fire kolonneoverskrifter: firstname, lastname, email og profession (jobtitel). Fil 1 indeholder 1.000 datarækker, mens fil 2 indeholder 1.003 – altså 2.003 rækker før deduplikering. Vi vil flette poster, der har samme e-mailadresse.

Hvis dit e-mailfelt indeholder flere adresser i samme celle, skal du opdele CSV-celler med flere værdier i separate rækker, før du søger efter dubletter. Hvis kildefilen er for stor til at blive importeret eller gennemgået sikkert, kan du opdele den store CSV-fil før deduplikering.

Processen til at flette dubletter kan opsummeres i fire trin:

1. Indlæs dine CSV-filer i en Datablist-collection
2. Vælg de properties, der skal bruges til at finde dubletter
3. Flet dubletter uden konflikter automatisk
4. Flet de resterende dubletter manuelt

Trin 1: Indlæs CSV-filer i en Datablist-collection

Opret en ny collection

Første trin er at indlæse CSV-filen i Datablist. Åbn Datablist (kræver ingen tilmelding) for at komme i gang.

Opret en ny collection ved at klikke på knappen "New collection" med +. Når din collection er oprettet, giver du den et navn og et ikon.

Klik derefter på knappen Import CSV.

Opret properties til din CSV-fil

Når CSV-filen er indlæst, kan du oprette properties i din collection ud fra CSV-filens kolonnenavne. Datablist viser alle de kolonner, der findes i filen, så du kan oprette en property for hver af dem.

CSV-filer angiver ikke kolonnetyper. Datablist foreslår typer ud fra de importerede værdier, så du nemmere kan sortere og filtrere dem. Gennemgå forslagene før importen.

Jeg beholder identifikatorer som SKU, konto-id og postnummer som Text. Hvis 00127 eksempelvis konverteres til Number, forsvinder de indledende nuller, og matchingnøglen ændres. Læs guiden til property-typer, hvis du er i tvivl om, hvilken type du skal vælge.

Gennemgå og importer

I gennemgangstrinnet vises CSV-rækkerne direkte fra filen. Kontrollér, at dataene er korrekt formateret og konsistente. Klik derefter på knappen "Import items" – så er du færdig! 💪

Gentag processen for dine øvrige CSV-filer

Nu har du en collection med konfigurerede properties. Brug processen "Import CSV/Excel" til at importere dine øvrige CSV- eller Excel-filer til den samme collection.

Trin 2: Find dubletter

Når CSV-filerne er indlæst, skal du åbne Clean > Merge duplicates. Vælg i stedet Remove duplicates, hvis de ekstra rækker ikke indeholder data, du har brug for.

Der er to tilstande:

• All Properties sammenligner hele rækken.
• Selected Properties sammenligner kun de kolonner, der identificerer posten.

Her er property-feltet email tilstrækkeligt til at identificere en kontakt, så du kan vælge tilstanden Selected Properties og property-feltet email.

Vælg Exact matching på email for de to filer i guiden, hvis du vil genskabe kontrolresultatet: Otte dubletgrupper indeholder hver to rækker. Når alle otte grupper er reduceret til én række, skal den eksporterede CSV-fil indeholde 1.995 datarækker eksklusive kolonneoverskriften. Hvis du får et andet antal, skal du kontrollere, om begge filer kun er importeret én gang, om matchingkolonnen er email, og om der stadig er grupper, som ikke er behandlet.

Hvis aliasser eller wrappers får værdierne til at variere, kan du bruge det særlige workflow til e-mail og deduplikere disse variationer.

Kontrollen er skrivebeskyttet. Resultatvisningen viser grupperne, forklarer, hvorfor de matcher, og adskiller Ready-grupper fra matches, der kræver gennemgang.

Fjern dublerede CSV-rækker uden at flette

Hvis du kun vil fjerne rækker, skal du vælge Remove duplicates i resultatvisningen:

1. Kontrollér Record to keep. Standardvalget er Most Complete. Andre regler til valg af post kræver et betalt abonnement. Den valgte række forbliver uændret.
2. Åbn nogle af grupperne, og sammenlign rækkerne markeret med Keep og Remove. Kontrollér, om de rækker, der skal fjernes, indeholder et telefonnummer, en note eller en nyere værdi, du stadig har brug for.
3. Hvis værdierne er vigtige, skal du vælge Merge and preserve data og følge trin 3 nedenfor. Når du blot fjerner rækker, kopieres ekstra værdier ikke til den bevarede række.
4. Når Ready-grupperne svarer til det ønskede resultat, skal du klikke på Remove ready duplicates. Gennemgå eventuelle advarsler om datatab, før du bekræfter.

To identiske rækker med samme e-mail kan eksempelvis reduceres til én række. Hvis to rækker har samme e-mail, men forskellige telefonnumre, skal du træffe et valg: Behold én post uændret, eller flet telefonnumrene ind i destinationsposten.

Vælg matchingkolonnerne, før du bestemmer, hvilken række der skal bevares. All Properties finder komplette rækker, der er identiske. Selected Properties kan gruppere den samme kontakt, selvom jobtitler eller telefonnumre er forskellige. Et fælles virksomhedswebsite er ikke tilstrækkeligt i sig selv, når flere kontakter arbejder i samme virksomhed.

Behold dine oprindelige CSV-filer. Efter behandlingen bør du sammenligne antallet af fjernede rækker med de gennemgåede grupper, kontrollere de bevarede identifikatorer og eksportere den rensede collection som CSV. Rækker, der stadig afventer gennemgang, kan blive liggende i din collection. Et færdigbehandlet batch betyder derfor ikke nødvendigvis, at alle potentielle dubletter er løst.

Trin 3: Flet og kombiner dubletter automatisk

Vælg Merge and preserve data, når de sekundære CSV-rækker indeholder nyttige værdier. Datablist vælger én destinationspost, udfylder tomme properties og anvender dine konfliktregler, før de sekundære rækker slettes.

Forhåndsvisningen adskiller Ready-grupper fra grupper med uløste konflikter. Læs dokumentationen til Duplicate Finder for at få en komplet beskrivelse af indstillingerne for gennemgang, survivorship og valg af post.

Udvid Resolve conflicting values for at se, hvilke properties der stadig mangler en regel.

Flet rækker uden konflikter

Algoritmen "Merge non-conflicting duplicates" udfører en "smart merge". Den fletter poster med ens eller komplementære værdier.

Følgende dubletter:

email            |     Fornavn      |    Efternavn
james@gmail.com  |     James
james@gmail.com  |                  |     Bond

bliver eksempelvis flettet til:

email            |     Fornavn      |    Efternavn
james@gmail.com  |     James        |     Bond

Kombiner værdier fra dubletter

Kombinering – eller konsolidering – af dubletværdier er ideelt, når dubletterne indeholder modstridende værdier, men du stadig vil flette dem uden at miste data.

Hvis du eksempelvis kombinerer property-feltet Phone med et semikolon:

email            |       Telefon     |     Fornavn      |    Efternavn
james@gmail.com  |  +33 1 34 65 23   |      James       |
james@gmail.com  |  06 13 42 78 23   |                  |     Bond

bliver rækkerne flettet til:

email            |   Telefon                       |     Fornavn      |    Efternavn
james@gmail.com  |  +33 1 34 65 23;06 13 42 78 23  |     James        |     Bond

Alle properties med tekst kan kombineres. De tilgængelige skilletegn er line break, semi-colon, comma og space. Du kan kombinere én eller flere properties under fletningen.

Fletning af dublerede poster og kombinering af værdier er ideelt til rensning af leads og CRM-data. Flet alle dublerede leads, og kombiner properties som Phone, Email og Notes for at få en ren liste. Når du har eksporteret din rensede CSV-fil med leads, kan du blot importere den i dit CRM igen.

Behold værdien fra den valgte post

Denne regel beholder værdien fra den valgte destinationspost og kasserer de øvrige modstridende værdier.

Most Complete er standardreglen under Record to keep. Med betalte abonnementer kan du vælge andre regler eller udvælge feltværdier individuelt ved hjælp af survivorship-regler.

Brug indstillingen drop conflicting values til:

• Tekniske properties som Account Id, der kræver én enkelt værdi.
• Properties af typen "Relation", som ikke kan indeholde flere værdier. Det kan eksempelvis være Lead owner eller Account.
• Properties uden tekst, som ikke kan kombineres. Det kan eksempelvis være dato og klokkeslæt som Last Activity og Contacted on samt afkrydsningsfelter.

Trin 4: Manuel fletning med Merging Assistant

Åbn Review group, når en dubletgruppe kræver en manuel beslutning. Med Merging Assistant kan du vælge destinationen og den værdi, der skal bevares for hver property.

Den manuelt valgte destination beholder sit Datablist-id. De øvrige rækker bliver sekundære poster.

Gennemgå hver property, vælg de værdier, du vil bevare, og bekræft fletningen. Du kan også udelukke en række fra dubletgruppen eller springe hele gruppen over.

Eksportér til CSV efter behov

Tillykke – du har nu deduplikeret dine CSV-filer! Hvis du skal bruge resultatet i et andet værktøj, kan du klikke på knappen "Export" for at eksportere din collection som en ny CSV-fil.

FAQ

Hvilke andre datahandlinger kan Datablist udføre?

CSV-filer bruges overalt til at definere strukturerede data til software og datasæt. Selvom formatet er udbredt, kan behandling af CSV-filer være besværligt og kræver ofte teknisk viden.

Til enkle handlinger er regneark tilstrækkelige. De har dog deres begrænsninger, når du skal:

• Kombinere CSV-filer
• Deduplikere rækker i en CSV-fil
• Rense data

Hvis du har flere CSV-filer, som skal samles ved hjælp af en unik kolonne, kan du læse guiden til at sammenføje CSV-filer.

Kan Datablist håndtere store CSV-filer?

Free-abonnementet understøtter op til 1 million poster pr. collection i browserens lager. Betalte abonnementer understøtter import af op til 2 millioner poster pr. collection. Store lokale handlinger afhænger stadig af browseren og enheden. Se, hvordan du kan redigere store CSV-filer.

Er deduplikeringsalgoritmen bedre end Remove Duplicates i Microsoft Excel og Google Sheets?

Regnearksværktøjer som Microsoft Excel og Google Sheets har funktioner til deduplikering. De fungerer ved at fjerne ens rækker. Til professionel brug er det sjældent ideelt blot at slette rækker.

Datablist viser dubletgrupperne, før filen ændres. Du kan fjerne overflødige rækker, flette komplementære værdier, løse konflikter eller lade usikre grupper forblive urørte.

Hvis du har spørgsmål, er du velkommen til at kontakte os.