Om dubbele CSV-rijen veilig te verwijderen, kies je de kolom die een record uniek identificeert, controleer je de voorgestelde groepen en verwijder je vervolgens overbodige rijen of voeg je de waarden samen die je wilt behouden. Dit werkt met één CSV-bestand én met meerdere bestanden die in dezelfde Datablist-collectie zijn geïmporteerd.
Gebruik voor de eerste controle een e-mailadres, telefoonnummer, bedrijfswebsite, SKU of een andere stabiele identifier. Bevatten de waarden spel- of opmaakverschillen? Gebruik dan Smart, fuzzy of fonetische matching en controleer onzekere groepen handmatig.
Duplicaten uit CSV-bestanden samenvoegen
Datablist is ideaal voor databewerkingen die niet mogelijk zijn met spreadsheets. Gebruik het als je een goede online CSV-editor zoekt.
In deze handleiding werken we met twee CSV-bestanden die duizenden records bevatten. We laden ze in één collectie en verwijderen duplicaten op basis van één van de vier kolommen. Deduplicatie werkt ook met één CSV-bestand.
Tutorialbestanden downloaden: CSV-bestand 1 en CSV-bestand 2
De downloadbare bestanden hebben vier kolomkoppen: firstname, lastname, email en profession (functietitel). Bestand 1 bevat 1.000 datarijen en bestand 2 bevat er 1.003, samen goed voor 2.003 rijen vóór de deduplicatie. We willen records met hetzelfde e-mailadres samenvoegen.
Staan er meerdere e-mailadressen in één cel? Splits CSV-cellen met meerdere waarden dan eerst op in afzonderlijke rijen voordat je naar duplicaten zoekt. Is het bronbestand te groot om veilig te importeren of controleren? Splits het grote CSV-bestand dan vóór de deduplicatie.
Het samenvoegen van duplicaten bestaat uit vier stappen:
- Laad je CSV-bestanden in een Datablist-collectie
- Selecteer de properties waarmee je duplicaten wilt zoeken
- Voeg duplicaten zonder conflicten automatisch samen
- Voeg de resterende duplicaten handmatig samen
Stap 1: CSV-bestanden in een Datablist-collectie laden
Een nieuwe collectie maken
De eerste stap is het laden van het CSV-bestand in Datablist. Open Datablist (geen account nodig) om te beginnen.
Klik op de knop "New collection" met de + om een nieuwe collectie te maken. Geef de collectie daarna een naam en een pictogram.
Klik vervolgens op Import CSV.
Properties voor je CSV-bestand maken
Nu het CSV-bestand is geladen, kun je properties voor je collectie maken op basis van de CSV-kolomnamen. Datablist toont elke gevonden kolom, zodat je voor iedere kolom een property kunt maken.
CSV-bestanden bevatten geen informatie over kolomtypen. Datablist stelt op basis van de geïmporteerde waarden een type voor, zodat je de data eenvoudiger kunt sorteren en filteren. Controleer deze voorstellen vóór het importeren.
Bewaar identifiers zoals SKU's, account-ID's en postcodes als Text. Als je bijvoorbeeld 00127 omzet naar Number, verdwijnen de voorloopnullen en verandert de waarde waarop je matcht. Lees bij twijfel de handleiding voor property types.
Controleren en importeren
Tijdens de controlestap worden de CSV-rijen rechtstreeks uit het bestand weergegeven. Controleer of de data correct en consistent is opgemaakt. Klik daarna op "Import items" en je bent klaar! 💪
Herhaal dit voor je andere CSV-bestanden
Je hebt nu een collectie met geconfigureerde properties. Gebruik opnieuw "Import CSV/Excel" om je andere CSV- of Excel-bestanden in dezelfde collectie te importeren.
Stap 2: Duplicaten vinden
Open na het laden van de CSV-bestanden Clean > Merge duplicates. Kies in plaats daarvan Remove duplicates als de extra rijen geen data bevatten die je wilt bewaren.
Er zijn twee modi beschikbaar:
- All Properties vergelijkt de volledige rijen.
- Selected Properties vergelijkt alleen de kolommen die een record identificeren.
In dit voorbeeld is de property email voldoende om een contact te identificeren. Selecteer daarom de modus Selected Properties met de property email.
Kies voor deze twee tutorialbestanden Exact matching op email om de aantallen te kunnen controleren: acht groepen met duplicaten bevatten elk twee rijen. Nadat je alle acht groepen tot één rij hebt teruggebracht, moet de geëxporteerde CSV 1.995 datarijen bevatten, exclusief de kolomkop. Klopt dit aantal niet? Controleer dan of beide bestanden één keer zijn geïmporteerd, email als matchingkolom is gekozen en er geen groepen meer openstaan.
Verschillen de waarden door aliassen of e-mailwrappers? Gebruik dan de specifieke workflow om deze varianten te dedupliceren.
De controle is read-only. In de resultaten zie je de groepen, waarom ze als match zijn aangemerkt en welke groepen Ready zijn of nog gecontroleerd moeten worden.
Dubbele CSV-rijen verwijderen zonder samenvoegen
Wil je alleen rijen verwijderen? Kies dan Remove duplicates in de resultaten:
- Controleer Record to keep. Standaard is Most Complete geselecteerd; voor andere selectieregels heb je een betaald abonnement nodig. De gekozen rij blijft ongewijzigd.
- Open enkele groepen en vergelijk de rijen met het label Keep en Remove. Controleer of de te verwijderen rijen nog een telefoonnummer, notitie of nieuwere waarde bevatten die je nodig hebt.
- Zijn die waarden belangrijk? Kies dan Merge and preserve data en volg stap 3 hieronder. Bij verwijderen worden extra waarden niet naar de bewaarde rij gekopieerd.
- Komen de Ready-groepen overeen met je bedoeling? Klik dan op Remove ready duplicates. Lees vóór de bevestiging eventuele waarschuwingen over dataverlies.
Twee identieke rijen met hetzelfde e-mailadres kun je bijvoorbeeld terugbrengen tot één rij. Bij twee rijen met hetzelfde e-mailadres maar verschillende telefoonnummers moet je een keuze maken: één record ongewijzigd behouden of de telefoonnummers in het doelrecord samenvoegen.
Kies eerst de matchingkolommen en bepaal daarna welke rij behouden blijft. All Properties vindt volledig identieke rijen. Met Selected Properties kun je hetzelfde contact groeperen, ook als functietitels of telefoonnummers verschillen. Alleen een gedeelde bedrijfswebsite is te algemeen wanneer meerdere contacten bij hetzelfde bedrijf werken.
Bewaar je oorspronkelijke CSV-bestanden. Vergelijk na de verwerking het aantal verwijderde rijen met de gecontroleerde groepen, inspecteer de behouden identifiers en exporteer de opgeschoonde collectie als CSV. Rijen die nog op controle wachten, kunnen in de collectie blijven staan. Een afgeronde batch betekent dus niet dat ieder mogelijk duplicaat is opgelost.
Stap 3: Duplicaten automatisch samenvoegen en combineren
Kies Merge and preserve data wanneer secundaire CSV-rijen nuttige waarden bevatten. Datablist selecteert één doelrecord, vult lege properties aan en past je conflictregels toe voordat de secundaire rijen worden verwijderd.
In het voorbeeld worden Ready-groepen gescheiden van groepen met onopgeloste conflicten. Lees de documentatie van Duplicate Finder voor alle instellingen voor controle, survivorship en recordselectie.
Klap Resolve conflicting values open om te zien voor welke properties nog een regel nodig is.
Rijen zonder conflicten samenvoegen
Het algoritme "Merge non-conflicting duplicates" voert een "smart merge" uit. Daarbij worden records met vergelijkbare of aanvullende waarden samengevoegd.
Deze duplicaten:
email | Voornaam | Achternaam
james@gmail.com | James
james@gmail.com | | Bond
worden samengevoegd tot:
email | Voornaam | Achternaam
james@gmail.com | James | Bond
Waarden van duplicaten combineren
Het combineren of consolideren van dubbele waarden is ideaal wanneer duplicaten conflicterende waarden hebben, maar je ze toch zonder dataverlies wilt samenvoegen.
Zo kun je de property Phone bijvoorbeeld combineren met een puntkomma:
email | Phone | Voornaam | Achternaam
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Dit wordt samengevoegd tot:
email | Phone | Voornaam | Achternaam
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Elke property met tekst kan worden gecombineerd. De beschikbare scheidingstekens zijn line break, semi-colon, comma en space. Je kunt tijdens het samenvoegen één of meerdere properties combineren.
Het samenvoegen van dubbele items en combineren van waarden is ideaal voor het opschonen van leads en CRM-data. Voeg al je dubbele leads samen en combineer de properties Phone, Email en Notes voor een schone lijst. Na het exporteren van je opgeschoonde lead-CSV importeer je deze eenvoudig opnieuw in je CRM.
De waarde van het geselecteerde record behouden
Deze regel behoudt de waarde uit het geselecteerde doelrecord en verwijdert de andere conflicterende waarden.
Most Complete is de standaardregel voor Record to keep. Met een betaald abonnement kun je andere regels kiezen of veldwaarden afzonderlijk selecteren met survivorship rules.
Gebruik de drop conflicting values option voor:
- Technische properties zoals
Account Id, waarvoor maar één waarde is toegestaan. - Properties van het type "Relation" die geen meerdere waarden kunnen bevatten, zoals
Lead ownerenAccount. - Properties zonder tekst die niet kunnen worden gecombineerd, zoals datum- en tijdvelden als
Last ActivityenContacted on, en selectievakjes.
Stap 4: Handmatig samenvoegen met Merging Assistant
Open Review group wanneer je voor een groep duplicaten handmatig een beslissing moet nemen. Met de Merging Assistant kies je het doelrecord en bepaal je per property welke waarde behouden blijft.
Het handmatig geselecteerde doelrecord behoudt zijn Datablist-ID. De overige rijen worden secundaire records.
Controleer iedere property, selecteer de waarden die je wilt behouden en bevestig het samenvoegen. Je kunt ook een rij uit de duplicatengroep verwijderen of de volledige groep overslaan.
Indien nodig exporteren naar CSV
Gefeliciteerd, je hebt je CSV-bestanden succesvol gededupliceerd! Wil je het resultaat in een andere tool gebruiken? Klik dan op de knop "Export" om de collectie als een nieuw CSV-bestand te exporteren.
FAQ
Welke andere databewerkingen biedt Datablist?
CSV-bestanden worden overal gebruikt om gestructureerde data voor softwareapplicaties en datasets vast te leggen. Hoewel ze alomtegenwoordig zijn, is het bewerken van CSV-bestanden lastig en vereist het vaak technische kennis.
Voor eenvoudige bewerkingen zijn spreadsheets voldoende. Ze lopen echter tegen hun grenzen aan bij:
Meerdere CSV-bestanden samenvoegen: Wil je meerdere CSV-bestanden aan elkaar koppelen via een unieke kolom? Bekijk dan de handleiding voor het samenvoegen van CSV-bestanden.
Kan Datablist grote CSV-bestanden verwerken?
Het Free-abonnement ondersteunt maximaal 1 miljoen items per collectie in de browseropslag. Betaalde abonnementen ondersteunen imports tot 2 miljoen items per collectie. Grote lokale bewerkingen blijven afhankelijk van je browser en apparaat. Lees hoe je grote CSV-bestanden online bewerkt.
Is het deduplicatie-algoritme beter dan Remove Duplicates in Microsoft Excel en Google Sheets?
Spreadsheettools zoals Microsoft Excel en Google Sheets hebben een functie om duplicaten te verwijderen. Deze verwijdert vergelijkbare rijen. Voor zakelijke toepassingen is alleen rijen verwijderen meestal niet ideaal.
Datablist toont de duplicatengroepen voordat het bestand wordt gewijzigd. Je kunt overbodige rijen verwijderen, aanvullende waarden samenvoegen, conflicten oplossen of onzekere groepen ongemoeid laten.
Heb je vragen? Neem dan contact met ons op.