Zo verwijder je dubbele e-mailadressen uit een lijst

Florian Poullin
Florian Poullin
15 min lezen
Dedupliceer e-mails zonder contactdata te verliezen
Zo verwijder je dubbele e-mailadressen uit een lijst
Inhoudsopgave
  1. Welke e-mailadressen Datablist als identiek beschouwt
  2. Voorbeeldlijst met e-mailadressen
  3. De e-mailkolom importeren en voorbereiden
  4. De Duplicates Finder instellen
  5. De controle uitvoeren en duplicaatgroepen beoordelen
  6. Kiezen tussen samenvoegen en verwijderen
  7. Resultaten van de geteste lijst met 1.000 rijen
  8. Foutscenario's en validatiechecklist
    1. Punten bij andere domeinen dan Gmail
    2. Ongeldige waarden
    3. Exacte matching
    4. Meerdere adressen in één cel
    5. Gedeelde inboxen
    6. Aanvullende velden verwijderen
  9. De e-maillijst verder opschonen
  10. Dedupliceer je lijst met Datablist
  11. FAQ

Dubbele e-mailadressen sluipen er gemakkelijk in wanneer je een CRM-export combineert met formulierinzendingen of een evenementenlijst. Dezelfde persoon verschijnt dan twee keer, terwijl de rijen zelden identiek zijn. De ene rij bevat bijvoorbeeld het telefoonnummer en de andere de bron of een nuttige notitie.

Daarom begin ik niet met het verwijderen van herhaalde e-mailadressen. Om e-mailadressen veilig te dedupliceren, gebruik ik de Datablist Duplicates Finder met Smart matching en de Email processor. Deze groepeert varianten van e-mailadressen, waarna ik de volledige contactrijen kan controleren en de gegevens kan samenvoegen die ik wil bewaren.

Voor deze uitleg heb ik een testlijst met 1.000 contacten samengesteld, met varianten die ik vaak tegenkom: van plus-aliassen en Gmail-verschillen tot adressen met een wrapper. Datablist vond 200 dubbele paren. Na het opschonen bleven er 800 contacten over. Ik laat je zien welke instellingen ik heb gebruikt en wat ik controleerde voordat ik gegevens samenvoegde.

Match eerst op e-mailadres, maar bepaal op basis van de volledige contactrij welke gegevens je bewaart. Wil je in plaats daarvan namen, telefoonnummers, bedrijfsdomeinen of andere kenmerken vergelijken? Bekijk dan hoe je online een lijst dedupliceert.

Welke e-mailadressen Datablist als identiek beschouwt

Smart matching met de Email processor vergelijkt e-mailidentiteiten in plaats van de onbewerkte tekst in cellen. De functie verwijdert spaties rond het adres, vergelijkt waarden in kleine letters en haalt vóór het matchen een +suffix uit het lokale deel.

Ook past de functie specifieke Gmail-regels toe. Punten worden uit het lokale deel van Gmail-adressen verwijderd en googlemail.com wordt omgezet naar gmail.com. Datablist kan bovendien een geldig adres halen uit een wrapper met een weergavenaam of uit een mailto:-waarde met een querystring.

Dit zijn voorbeelden uit de geteste dataset:

Opgeslagen waardenResultaat van Smart Email
noraanderson40@demo.co
noraanderson40+newsletter@demo.co
Dezelfde identiteit na verwijdering van het plus-suffix
victorbennett62@gmail.com
victorb.ennett62@gmail.com
Dezelfde Gmail-identiteit na verwijdering van de punten
yasmincarter105@gmail.com
yasmincarter105@googlemail.com
Dezelfde Gmail-identiteit na normalisatie van het domein
camiladiaz123@testmail.net
Camila Diaz <camiladiaz123@testmail.net>
Dezelfde identiteit nadat het adres uit de wrapper is gehaald
marcusevans199@testmail.net
mailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello
Dezelfde identiteit na verwijdering van de wrapper en vergelijking in kleine letters

De verwerking van punten geldt specifiek voor Gmail. Datablist gaat er niet van uit dat voornaam.achternaam@bedrijf.nl en voornaamachternaam@bedrijf.nl hetzelfde adres zijn. Bij andere domeinen dan Gmail kunnen punten betekenisvol zijn.

Smart Email is een vergelijkingsregel, geen validator voor e-mailadressen. De functie controleert voldoende structuur om een adres te normaliseren, maar valideert het domein of de mailbox niet volledig. Zo wordt person+tag@.example.com voor het matchen omgezet naar person@.example.com, hoewel het domein ongeldig is. Controleer ongeldige waarden afzonderlijk voordat je gegevens samenvoegt.

Wil je plus-aliassen, Gmail-punten en wrappers als afzonderlijke waarden behouden? Selecteer dan Exact. Bij een exacte tekstvergelijking worden spaties rond de waarde nog steeds verwijderd en wordt standaard geen onderscheid gemaakt tussen hoofdletters en kleine letters. Schakel Case sensitive in als hoofdletters en kleine letters afzonderlijk moeten blijven; spaties rond de waarde worden nog steeds verwijderd.

Controleer adressen met een plus-tag op bedrijfsdomeinen voordat je ze samenvoegt. Smart Email groepeert sam+orders@example.com en sam@example.com onder dezelfde vergelijkingssleutel. Exchange Online probeert eerst het volledige adres en valt terug op het basisadres als het volledige adres niet kan worden gevonden. [1] Behoud beide adressen als ze afzonderlijke ontvangers hebben of als de routering onduidelijk is. Voer de controle met Exact uit op de e-mailkolom en verifieer dat de twee rijen gescheiden blijven.

🔑 Normalisatie stelt een duplicaatgroep voor

Dit bewijst niet dat elk veld bij dezelfde persoon hoort. Controleer namen, bedrijven en algemene inboxen voordat je gegevens samenvoegt.

Voor het opschonen van de meeste contactlijsten raad ik Smart matching met de Email processor aan. Ik schakel over op Exact wanneer aliassen gescheiden moeten blijven en controleer vervolgens of de instelling voor hoofdlettergevoeligheid aansluit op de kenmerken in het bestand.

Bekijk de documentatie van de Email processor voor alle normalisatieregels en de beschikbaarheid per abonnement.

Voorbeeldlijst met e-mailadressen

Het testbestand bevat 1.000 synthetische contactrijen die 800 vooraf ontworpen identiteiten vertegenwoordigen. Geen enkel duplicaatpaar heeft exact dezelfde onbewerkte e-mailwaarde. Dat is belangrijk, want met een opschoning op exacte waarden kun je matching op basis van aliassen niet goed demonstreren.

Het bestand heeft acht kolommen: record_id, first_name, last_name, email, company, phone, source en notes. De workflow matcht op email, maar de andere velden blijven zichtbaar. Zo kan ik een hoofdrecord selecteren en nuttige waarden behouden.

Hieronder staan vier exacte invoerrijen uit twee duplicaatparen:

record_idfirst_namelast_nameemailphonesourcenotes
CONTACT-0040-ANoraAndersonnoraanderson40@demo.coCRM-exportPrimair contactrecord
CONTACT-0040-BN.A.noraanderson40+newsletter@demo.co+1-202-555-1039WebsiteformulierOpvolggegevens uit een tweede bron
CONTACT-0062-AVictorBennettvictorbennett62@gmail.com+1-202-555-1061WebsiteformulierPrimair contactrecord
CONTACT-0062-BvictorBENNETTvictorb.ennett62@gmail.comEvenementOpvolggegevens uit een tweede bron

Het paar van Nora laat zien waarom ik duplicaten niet direct verwijder. Het basisrecord bevat de gewenste volledige naam, terwijl de rij met het plus-alias het enige telefoonnummer en een tweede acquisitiebron bevat. Door de rijen samen te voegen, kun je beide bewaren.

De dataset bevat 200 dubbele identiteiten van elk twee rijen, gelijk verdeeld over vijf soorten varianten: plus-aliassen, Gmail-adressen met punten, gmail.com tegenover googlemail.com, wrappers met weergavenamen en mailto:-waarden. De overige 600 identiteiten komen één keer voor.

Je kunt het CSV-voorbeeld met 1.000 rijen downloaden om de stappen zelf te doorlopen. Gebruik je een eigen bestand? Plaats dan één e-mailadres per rij en behoud de aangrenzende velden die je wilt samenvoegen.

De e-mailkolom importeren en voorbereiden

Importeer het CSV- of Excel-bestand in een nieuwe Datablist-collectie. Controleer het importvoorbeeld en wijs de e-mailkolom toe als e-maileigenschap.

Bewaar namen, bedrijf, telefoonnummer, bron, notities en stabiele ID's in afzonderlijke eigenschappen. Deze kolommen zijn geen overbodige ruis. Ze vormen het bewijs dat je nodig hebt wanneer twee rijen op e-mailadres matchen, maar op andere punten verschillen.

Een contactcollectie met 1.000 rijen en het menu Clean geopend bij Merge duplicates
Een contactcollectie met 1.000 rijen en het menu Clean geopend bij Merge duplicates

Voor deze workflow geef ik ook de voorkeur aan één adres per cel. Bevat een cel alice@example.com; bob@example.com? Splits of normaliseer deze dan eerst. In de handleiding lees je hoe je een veld met meerdere e-mailadressen dedupliceert.

Bij een cel met meerdere adressen vergelijkt multi-value deduplication de onderdelen die door puntkomma's zijn gescheiden. Controleer de overlappende mailbox voordat je twee contactrecords als één persoon beschouwt.

💡 Bewaar het bewijs voor je merge

Verwijder kolommen met de bron, notities, het telefoonnummer of een stabiel ID niet vóór de deduplicatie. Ze helpen je het hoofdrecord te kiezen en voorkomen dat je unieke gegevens weggooit.

Open Clean > Merge duplicates. Kies Selected Properties en selecteer daarna email voor deze eerste controle op e-mailadres.

De eigenschap email geselecteerd als veld om dubbele contacten te vinden
De eigenschap email geselecteerd als veld om dubbele contacten te vinden

Door één eigenschap te selecteren, blijft de regel eenvoudig te interpreteren. Als je nu al een naam- of bedrijfseigenschap toevoegt, kan een geldige e-mailmatch worden gemist wanneer die velden ontbreken of anders zijn opgemaakt.

De Duplicates Finder instellen

Selecteer voor de eigenschap email het vergelijkingsalgoritme Smart en kies de Email processor.

Smart comparison ingesteld met de Email processor
Smart comparison ingesteld met de Email processor

Elke instelling heeft een specifieke functie:

  • Selected Properties beperkt de controle tot het kenmerk dat je wilt vergelijken.
  • Smart schakelt normalisatie via een processor in, in plaats van de opgeslagen tekenreeksen letterlijk te vergelijken.
  • Email past de hierboven beschreven, geverifieerde regels toe voor aliassen, Gmail, weergavenamen en mailto:.

Gebruik Smart met de Email processor voor identiteitsvarianten. Exact slaat de e-mailspecifieke normalisatie over, maar verwijdert nog wel spaties rond waarden en negeert standaard het verschil tussen hoofdletters en kleine letters.

De duplicaatcontrole zelf is alleen-lezen. Wanneer je deze uitvoert, worden kandidaatgroepen ter beoordeling aangemaakt. Er worden geen rijen uit de collectie verwijderd of samengevoegd. Wijzigingen vinden pas plaats nadat je een merge- of verwijderactie kiest en toepast.

Die scheiding is nuttig. Ik wil eerst zien welke waarden volgens de matchingregel gelijkwaardig zijn voordat ik een bulkmerge op de lijst loslaat.

De controle uitvoeren en duplicaatgroepen beoordelen

Klik op Run duplicates check. In deze test plaatste Datablist 400 van de 1.000 rijen in 200 groepen van elk twee rijen.

Beoordeling van 200 duplicaatgroepen met e-mailvarianten en conflicterende velden
Beoordeling van 200 duplicaatgroepen met e-mailvarianten en conflicterende velden

Beschouw het aantal groepen nog niet als het aantal te verwijderen rijen. Een groep is een kandidaat die je moet beoordelen. Controleer per groep:

  • of de variatie in het e-mailadres logisch is;
  • of de voor- en achternaam overeenkomen of een verklaarbare variatie bevatten;
  • of bedrijfs- en telefoonwaarden conflicteren;
  • of bron en notities aanvullende informatie bieden;
  • of het adres een gedeelde inbox is.

Ik controleer meestal de eerste paar groepen en elke onverwachte match tussen verschillende bedrijven voordat ik een bulkregel toepas. Dat gaat sneller dan achteraf een te agressieve merge herstellen.

⚠️ Een herhaald adres betekent niet altijd dezelfde persoon

Een gedeelde inbox zoals sales@company.com kan bij meerdere legitieme contacten voorkomen. Beoordeel functiegebonden adressen handmatig in plaats van aan te nemen dat alle rijen tot één record moeten worden samengevoegd.

Het testbestand is zo ontworpen dat elk genormaliseerd paar één identiteit vertegenwoordigt. Een echte CRM-export is rommeliger. Wijzen de namen of bedrijven op verschillende personen? Sla die groep dan over of beoordeel deze afzonderlijk.

Kiezen tussen samenvoegen en verwijderen

Mijn beslisregel is eenvoudig:

  • Voeg rijen samen als ze aanvullende gegevens bevatten.
  • Verwijder een extra rij alleen als deze geen nuttige informatie toevoegt.
  • Laat onduidelijke groepen staan voor handmatige beoordeling.

Voor deze test selecteerde de mergeconfiguratie de volledigste rij als hoofdrecord. Het record_id van het hoofdrecord bleef behouden, voor de voor- en achternaam werden de langste waarden gebruikt en source en notes werden met puntkomma's samengevoegd.

Mergeregels ingesteld om een hoofdrecord te bewaren en bron en notities te combineren
Mergeregels ingesteld om een hoofdrecord te bewaren en bron en notities te combineren

Deze instellingen passen bij het voorbeeld, maar ik zou niet standaard elke conflicterende eigenschap combineren. Een bronhistorie kan prima Websiteformulier;CRM-export worden. Voor een CRM-status, eigenaar-ID of primair e-mailadres heb je meestal één gezaghebbende waarde nodig.

In het voorbeeld controleer je deze keuzes. Bekijk na elke wijziging van een regel opnieuw de doelrij.

Voorbeeld met alle 200 beoordeelde duplicaatgroepen die klaarstaan om te worden samengevoegd
Voorbeeld met alle 200 beoordeelde duplicaatgroepen die klaarstaan om te worden samengevoegd

💡 Controleer het voorbeeld na elke regelwijziging

Controleer welke rij het hoofdrecord wordt, welke waarden worden gecombineerd en welke verdwijnen voordat je de regel op alle gereedstaande groepen toepast.

Bevat een dubbele rij een uniek telefoonnummer, een unieke bron of notitie? Voeg deze dan samen in plaats van de rij te verwijderen. In het voorbeeld van Nora behield de uiteindelijke rij de volledige naam uit het ene record en het telefoonnummer uit het andere.

Wie complexere CRM-conflicten verwerkt, kan de uitgebreidere workflow gebruiken om dubbele leads samen te voegen zonder gegevensverlies. Bij deze controle op e-mailadres is het doel om nuttige aangrenzende velden te behouden zonder van elke eigenschap een tekenreeks met meerdere waarden te maken.

Resultaten van de geteste lijst met 1.000 rijen

De merge leverde de volgende gemeten aantallen op:

MetingResultaat
Rijen bij de start1.000
Rijen in duplicaatgroepen400
Duplicaatgroepen met twee rijen200
Verwijderde dubbele rijen200
Bijgewerkte hoofdrecords200
Uiteindelijke rijen800
Resterende duplicaatgroepen0

De controleberekening is eenvoudig: 1.000 rijen bij de start - 200 verwijderde rijen = 800 behouden rijen.

Succesvolle voltooiing na het samenvoegen van 200 groepen, zonder resterende duplicaatgroepen
Succesvolle voltooiing na het samenvoegen van 200 groepen, zonder resterende duplicaatgroepen

In de handmatig uitgevoerde test duurde het samenvoegen enkele seconden, maar er is geen exacte tijdmeting vastgelegd. Zie dit als een waarneming uit deze test, niet als een prestatiebenchmark.

Het gedownloade wijzigingslogboek bevat 400 vermeldingen: 200 verwijderde rijen en 200 bijgewerkte hoofdrecords. Voor elke samengevoegde groep toont het de waarden vóór de merge en de waarden die in de doelrij zijn behouden.

Gedownload wijzigingslogboek voor dubbele e-mailadressen met verwijderde en bijgewerkte records
Gedownload wijzigingslogboek voor dubbele e-mailadressen met verwijderde en bijgewerkte records

De onderstaande tabel gebruikt de exacte waarden uit de test:

Oorspronkelijke variantenWaarom ze matchtenBehouden e-mailadresActieBehouden velden
noraanderson40@demo.co
noraanderson40+newsletter@demo.co
Plus-suffix verwijderdnoraanderson40+newsletter@demo.coSamengevoegd in CONTACT-0040-BVolledige naam, telefoonnummer, Websiteformulier;CRM-export en beide notities
victorbennett62@gmail.com
victorb.ennett62@gmail.com
Gmail-punten genormaliseerdvictorbennett62@gmail.comSamengevoegd in CONTACT-0062-ATelefoonnummer, Websiteformulier;Evenement en beide notities
gabrielcarter113@gmail.com
gabrielcarter113@googlemail.com
Gmail-domeinen genormaliseerdgabrielcarter113@gmail.comSamengevoegd in CONTACT-0113-ATelefoonnummer, Partnerlijst;CRM-export en de notitie over de demoaanvraag
camiladiaz123@testmail.net
Camila Diaz <camiladiaz123@testmail.net>
Wrapper met weergavenaam verwijderdcamiladiaz123@testmail.netSamengevoegd in CONTACT-0123-AVolledige naam, telefoonnummer, Partnerlijst;CRM-export en beide notities
marcusevans199@testmail.net
mailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello
mailto:-wrapper verwijderd en hoofdlettergebruik genormaliseerdmailto:MARCUSEVANS199@TESTMAIL.NET?subject=HelloSamengevoegd in CONTACT-0199-BVolledige naam, telefoonnummer, Webinar;Evenement en beide notities

Het behouden adres is niet altijd het e-mailadres dat er visueel het eenvoudigst uitziet. Het geselecteerde hoofdrecord bepaalt welke opgeslagen e-mailwaarde behouden blijft. Normalisatie wordt gebruikt voor de matching; de functie herschrijft niet stilzwijgend elke behouden waarde naar een canonieke indeling.

De opgeschoonde Accounts-collectie met 800 resterende rijen
De opgeschoonde Accounts-collectie met 800 resterende rijen

De geteste merge bracht het aantal rijen terug van 1.000 naar 800, omdat 200 beoordeelde dubbele rijen in hun hoofdrecords zijn samengevoegd. Dit resultaat geldt voor de speciaal ontworpen testlijst en is geen universeel matchpercentage voor elke indeling van e-mailadressen.

Foutscenario's en validatiechecklist

Smart Email matching verwerkt de vijf geteste soorten varianten, maar vervangt een handmatige beoordeling niet.

Punten bij andere domeinen dan Gmail

Bij andere domeinen dan Gmail blijven punten betekenisvol. Ga er niet van uit dat voornaam.achternaam@bedrijf.nl en voornaamachternaam@bedrijf.nl bij dezelfde mailbox horen. Heb je extern bewijs dat ze gekoppeld zijn? Verwerk dat paar dan handmatig.

Ongeldige waarden

Beschouw een match niet als een geldigheidscontrole. Invoer zonder bruikbare @-structuur of met interne spaties wordt niet als een normaal adres genormaliseerd, maar de processor wijst niet elke ongeldige domeinvorm af. Twee ongeldige waarden kunnen dus nog steeds dezelfde vergelijkingswaarde opleveren. Controleer de adresindeling en het domein afzonderlijk en sluit twijfelachtige rijen uit van automatische merges. Een controle van de mailbox of deliverability is een volgende stap.

Exacte matching

Exact verwijdert geen plus-suffixen, Gmail-punten, domeinaliassen of wrappers met weergavenamen. De functie verwijdert wel spaties rond de waarde en vergelijkt tekst standaard in kleine letters. Zo matchen NAME@example.com en name@example.com met de standaardinstellingen van Exact, terwijl name+tag@example.com en name@example.com afzonderlijk blijven. Schakel Case sensitive in als hoofdlettergebruik in de vergelijking behouden moet blijven. Exact is nuttig wanneer verschillen tussen aliassen ertoe doen, maar is geen validatiestap en ook geen byte-voor-bytevergelijking van de oorspronkelijke cel.

Meerdere adressen in één cel

Deze methode gaat uit van één adres per cel. Een cel met meerdere, door scheidingstekens gescheiden adressen vereist eerst de afzonderlijke multi-value workflow voordat je op rijniveau kunt matchen.

Gedeelde inboxen

Twee rijen met sales@company.com kunnen verschillende personen beschrijven. Namen, functietitels, bedrijven en notities moeten de beslissing sturen. Ik zou functiegebonden inboxen niet in bulk samenvoegen zonder ze te controleren.

Aanvullende velden verwijderen

Als je een extra rij verwijdert, kun je daarmee ook het enige telefoonnummer, de acquisitiebron of een unieke notitie wissen. Gebruik het mergevoorbeeld om te zien welke gegevens behouden blijven.

De ontworpen test vond alle 200 bedoelde identiteiten en geen onverwachte groepen met verschillende identiteiten. Niet elke echte adresindeling, ongeldige waarde of variant van een gedeelde inbox is getest.

Controleer voordat je je eigen lijst exporteert:

  • Elke goedgekeurde groep vertegenwoordigt één identiteit.
  • Gedeelde en functiegebonden inboxen zijn handmatig beoordeeld.
  • Het hoofdrecord bevat de gewenste naam, het juiste ID en het gewenste e-mailadres.
  • Unieke waarden voor telefoonnummer, bedrijf, bron en notities blijven na de merge behouden.
  • Het aantal rijen bij de start min de verwijderde rijen is gelijk aan het uiteindelijke aantal rijen.
  • De steekproef omvat elk soort normalisatie dat in je lijst voorkomt.
  • Het aantal resterende duplicaatgroepen komt overeen met je verwachting.

📌 Controleer de aantallen

Rijen bij de start - verwijderde rijen = uiteindelijke rijen is de snelste volledigheidscontrole na een merge.

De e-maillijst verder opschonen

Deduplicatie lost herhaalde identiteiten op. Het controleert niet of een mailbox bestaat, of een provider tijdelijke adressen aanbiedt, of iemand zich heeft afgemeld en of e-mails bezorgd kunnen worden.

Ik los dubbele identiteiten het liefst eerst op. Latere controles worden dan uitgevoerd op de behouden contacten, in plaats van op meerdere versies van dezelfde persoon. Is de merge volgens je validatiechecklist in orde? Schoon dan de rest van je e-maillijst op, open vervolgens Export en kies CSV of Excel.

Dedupliceer je lijst met Datablist

Importeer je contactbestand in Datablist, voer de e-mailbewuste duplicaatcontrole uit, beoordeel de voorgestelde groepen, voeg de nuttige waarden samen en exporteer de opgeschoonde lijst.

FAQ

Zijn hoofdletters belangrijk bij het matchen van e-mailadressen?

Smart Email vergelijkt waarden in kleine letters. Daardoor kunnen NAME@example.com en name@example.com worden gegroepeerd als de rest van het genormaliseerde adres overeenkomt.

Tellen Gmail-punten en plus-aliassen als hetzelfde adres?

Smart Email matching verwijdert een plus-suffix uit het lokale deel en negeert punten in het lokale deel van Gmail-adressen. De regel voor punten geldt alleen voor Gmail. Bij andere domeinen blijven punten betekenisvol.

Moet ik dubbele contacten samenvoegen of verwijderen?

Voeg de rijen samen als een andere rij een telefoonnummer, bron, notitie, bedrijfswaarde of ander nuttig veld toevoegt. Verwijder de extra rij alleen als deze niets bevat wat je nodig hebt.

Wat als één cel meerdere e-mailadressen bevat?

Splits of normaliseer de multi-value cel voordat je deze workflow op rijniveau uitvoert. Volg de handleiding om een veld met meerdere e-mailadressen te dedupliceren.

Moet ik gedeelde inboxen zoals sales@company.com samenvoegen?

Niet automatisch. Eén gedeeld adres kan meerdere contacten vertegenwoordigen. Vergelijk de namen en andere velden en beoordeel deze groepen vervolgens handmatig.

Bronnen