Om duplicaten uit meerdere Excel- of CSV-bestanden te verwijderen, bewaar je elk bestand in een aparte Datablist-collectie. Koppel vervolgens de eigenschappen waarmee je dezelfde records herkent en vergelijk de collecties. Daarna kun je overeenkomende rijen uit een inkomende lijst verwijderen, terwijl je referentielijst ongewijzigd blijft.
Deze workflow is handig als je een CRM-export en een nieuw prospectbestand hebt. Je krijgt antwoord op één concrete vraag: welke prospects staan al in het CRM?
De automatische actie onderdrukt records; ze voegt ze niet samen. Overeenkomende records worden verwijderd uit de collectie die je selecteert. Unieke waarden uit die records worden niet naar een andere collectie gekopieerd.
Voor deze handleiding hebben we een praktijktest uitgevoerd met twee CSV-bestanden van elk 250 rijen:
| Collectie | Rol | Rijen vooraf | Eigenschap voor matching |
|---|---|---|---|
CRM Export | Te behouden referentielijst | 250 | Email |
Event Registrations | Inkomende lijst die moet worden opgeschoond | 250 | Attendee Email |
De bestanden bevatten bewust 100 overlappende records. Nadat deze matches uit Event Registrations zijn verwijderd, blijven er 150 volledig nieuwe eventcontacten over.
In dit voorbeeld matchen we op e-mailadres. Ontbreken er e-mailadressen in je lijsten of gebruik je meerdere contactkenmerken? Lees dan eerst meer over lead deduplication voordat je bepaalt welke matches je veilig kunt verwijderen.
Download de twee voorbeeldbestanden
Gebruik deze bestanden om de test zelf uit te voeren:
De kolomkoppen verschillen bewust. Het CRM gebruikt Email, First Name en Last Name. Het eventbestand gebruikt Attendee Email, Attendee First Name en Attendee Last Name. Door eigenschappen tussen collecties te koppelen, kunnen beide bestanden hun oorspronkelijke structuur behouden.
De testgegevens bevatten variaties in de notatie van e-mailadressen en aliassen. Daardoor levert Smart matching met de Email-processor betere resultaten op dan een eenvoudige exacte vergelijking.
Importeer elk bestand in een collectie
Open Datablist en importeer elk CSV- of Excel-bestand in een eigen collectie. Geef de collecties een naam die hun rol duidelijk maakt, zodat je de opschoningsregel eenvoudig kunt controleren.
De eerste collectie in deze test is de CRM-referentielijst. Deze bevat 250 records en moet ongewijzigd blijven.
De tweede collectie is de inkomende eventlijst. Ook deze begint met 250 records.
Controleer tijdens het importeren de property types. Stel beide e-mailkolommen in op het type Email. Behoud externe ID's, namen, telefoonnummers en andere velden, want die helpen je om twijfelachtige matches te beoordelen.
Koppel de identificerende eigenschappen
Open de inkomende collectie Event Registrations. Kies Clean > Match across collections.
Schakel Check duplicate items across several collections? in en voeg CRM Export toe.
Selecteer Attendee Email in de eventcollectie. Koppel deze eigenschap aan Email in de CRM-collectie.
Een sterk identificerend kenmerk is belangrijker dan de naam van de kolom. Goede opties zijn:
- E-mailadres voor contacten.
- Telefoonnummer wanneer beide bestanden compatibele landcodes gebruiken.
- LinkedIn-URL voor prospectlijsten.
- Website-domein voor bedrijven.
- SKU of een andere vaste identificatiecode voor producten.
Match niet alleen op voornaam. Verschillende mensen hebben vaak dezelfde naam.
Als je meerdere eigenschappen selecteert, beoordeelt Datablist de gecombineerde score. Voer aparte controles uit als je onafhankelijk op e-mail en telefoonnummer wilt matchen. Met Match on empty value krijgen eigenschappen die in beide records leeg zijn een score van 100%. Daardoor kan het gemiddelde stijgen. Controleer de ingevulde kenmerken en bekijk het voorbeeld van scores voor lege waarden voordat je een groep verwijdert.
Stel de vergelijking in
Gebruik Exact voor vaste ID's die volledig identiek moeten zijn. Kies voor e-mailadressen Smart met de Email-processor.
De Email-processor standaardiseert ondersteunde variaties van e-mailadressen voor de vergelijking, zonder de broncellen te wijzigen. Lees de aparte handleiding over het dedupliceren van e-mailadressen en aliassen voor specifiek gedrag en beperkingen.
Klik op Run duplicates check nadat je de twee bronnen, het aantal items, de gekoppelde eigenschappen en de vergelijkingsinstellingen hebt gecontroleerd.
Controleer de matches tussen collecties
In deze test zijn 500 records gecontroleerd en 100 groepen met duplicaten uit verschillende collecties gevonden.
De modus voor matching tussen collecties toont alleen groepen met records uit meer dan één collectie. Duplicaten die uitsluitend binnen CRM Export of uitsluitend binnen Event Registrations voorkomen, worden overgeslagen.
Controleer de groepen voordat je iets verwijdert:
- Bevestig dat het gekoppelde kenmerk naar dezelfde persoon of hetzelfde bedrijf verwijst.
- Controleer of de inkomende rij unieke gegevens bevat.
- Verifieer welke collectie de referentielijst is.
- Download de groepen als iemand anders de verwijdering moet goedkeuren.
- Gebruik de Manual Merging Assistant voor een afzonderlijke groep die moet worden samengevoegd in plaats van verwijderd.
Wil je ook duplicaten binnen een van de bestanden opschonen? Voer dan voor die collectie afzonderlijk de Duplicates Finder-workflow uit.
Verwijder overlap uit de inkomende lijst
Kies Remove duplicate items from collection {X} en selecteer vervolgens Event Registrations als de collectie die je wilt opschonen.
Datablist toont vooraf wat de actie doet:
- Overeenkomende records in
Event Registrationsworden verwijderd. CRM Exportblijft ongewijzigd.- Eventrecords zonder match in het CRM blijven behouden.
- Unieke waarden die alleen in een verwijderd eventrecord staan, gaan verloren.
⚠️ Deze actie voegt geen gegevens samen met het CRM
Als een eventrecord een nuttig telefoonnummer, een bron, een toestemmingsveld of een notitie bevat die in het CRM ontbreekt, wordt deze informatie niet gekopieerd bij automatische verwijdering. Controleer of exporteer eerst de groepen, of gebruik de Manual Merging Assistant voor de betreffende groepen.
Bij drie of meer collecties biedt Datablist ook een regel waarmee dubbele records alleen in één geselecteerde collectie behouden blijven. Controleer de samenvatting zorgvuldig voordat je de actie uitvoert, want er kunnen records uit meerdere bronnen worden verwijderd.
Klik op Process duplicate items zodra de geselecteerde collectie en de samenvatting overeenkomen met de gewenste actie.
Datablist heeft in deze test alle 100 groepen met duplicaten uit verschillende collecties verwerkt. Daarna meldde het resultatenscherm dat er geen groepen meer over waren.
Controleer de opgeschoonde lijst
Ga terug naar Event Registrations. De collectie bevat nu 150 items.
De controleberekening is:
250 inkomende rijen - 100 contacten die al in het CRM staan = 150 volledig nieuwe rijen
Controleer vóór het exporteren het volgende:
CRM Exportbevat nog steeds 250 items.Event Registrationsbevat 150 items.- Enkele bekende CRM-e-mailadressen komen niet meer voor in de eventlijst.
- Eventcontacten zonder match zijn behouden.
- De uitgevoerde actie staat in History, voor het geval je deze ongedaan wilt maken.
Exporteer de opgeschoonde eventcollectie naar CSV of Excel. De lijst is nu klaar voor een workflow met uitsluitend nieuwe leads, zonder contacten opnieuw te importeren die al in het CRM staan.
Beperkingen van deduplicatie tussen collecties
Matching tussen collecties heeft een specifieker doel dan het samenvoegen van bestanden:
- Bij automatische verwerking worden records verwijderd. Velden uit verschillende collecties worden niet samengevoegd.
- Interne duplicaten binnen één collectie worden overgeslagen.
- Elke vergelijkingseigenschap moet tussen de geselecteerde collecties worden gekoppeld.
- Matches op geselecteerde eigenschappen zijn afhankelijk van de gecombineerde scores en de instellingen voor lege waarden.
- Smart, fuzzy en phonetic matching kunnen mogelijke matches opleveren die handmatig moeten worden beoordeeld.
- Matching tussen collecties vereist een betaald abonnement.
Gebruik deze workflow voor suppressielijsten, controles vóór CRM-imports, het opschonen van eventleads, uitsluitingen voor campagnedoelgroepen of elk ander proces waarbij één lijst de centrale bron van waarheid moet blijven.
Wil je bestanden vóór het dedupliceren in één tabel combineren? Volg dan de handleiding om spreadsheets samen te voegen. Wil je aanvullende waarden binnen één collectie behouden? Gebruik dan de workflow voor één lijst om dubbele leads samen te voegen zonder gegevensverlies.