Duplikate in mehreren Excel-Dateien entfernen

Um Duplikate in mehreren Excel- oder CSV-Dateien zu entfernen, speicherst Du jede Datei in einer eigenen Datablist Collection. Ordne anschließend die Eigenschaften zu, die denselben Datensatz identifizieren, und gleiche die Collections miteinander ab. Danach kannst Du übereinstimmende Zeilen aus einer neu eingehenden Liste entfernen, ohne Deine Referenzliste zu verändern.

Dieser Workflow ist praktisch, wenn Du einen CRM-Export und eine neue Prospect-Liste hast. Er beantwortet eine konkrete Frage: Welche Prospects befinden sich bereits im CRM?

Die automatische Aktion dient zum Ausschließen, nicht zum Zusammenführen. Sie entfernt übereinstimmende Datensätze aus der von Dir ausgewählten Collection. Eindeutige Werte aus diesen Datensätzen werden nicht in eine andere Collection übertragen.

Diese Anleitung dokumentiert einen realen Test mit zwei CSV-Dateien mit jeweils 250 Zeilen:

Collection	Rolle	Zeilen vorher	Abgleichseigenschaft
`CRM Export`	Beizubehaltende Referenzliste	250	`Email`
`Event Registrations`	Zu bereinigende Eingangsliste	250	`Attendee Email`

Die Dateien enthalten 100 gezielt angelegte Überschneidungen. Nachdem diese Treffer aus Event Registrations entfernt wurden, bleiben 150 neue Event-Kontakte übrig.

Beide Beispieldateien herunterladen

Mit diesen Dateien kannst Du den Test selbst nachvollziehen:

Die Spaltenüberschriften unterscheiden sich absichtlich. Im CRM heißen sie Email, First Name und Last Name. Die Event-Datei verwendet Attendee Email, Attendee First Name und Attendee Last Name. Durch das Mapping der Eigenschaften zwischen Collections können beide Dateien ihre ursprüngliche Struktur behalten.

Die Testdaten enthalten unterschiedliche E-Mail-Formatierungen und Alias-Varianten. Deshalb ist Smart Matching mit dem Email Processor hier hilfreicher als ein einfacher exakter Vergleich.

Beide Dateien in Collections importieren

Öffne Datablist und importiere jede CSV- oder Excel-Datei in eine eigene Collection. Benenne die Collections nach ihrer jeweiligen Rolle, damit sich die Bereinigungsregel leicht überprüfen lässt.

Die erste Collection in diesem Test ist die CRM-Referenzliste. Sie enthält 250 Datensätze und darf nicht verändert werden.

Die Referenz-Collection CRM Export mit 250 Einträgen

Die zweite Collection ist die neu eingehende Event-Liste. Auch sie enthält zu Beginn 250 Datensätze.

Die Collection Event Registrations mit 250 eingehenden Kontakten

Prüfe beim Import die Property Types. Lege für beide E-Mail-Spalten den Typ Email fest. Behalte externe IDs, Namen, Telefonnummern und weitere Felder bei, denn sie helfen Dir dabei, fragliche Treffer zu prüfen.

Identifizierende Eigenschaften zuordnen

Öffne die eingehende Collection Event Registrations. Wähle Clean > Match across collections.

Das Menü Clean mit ausgewählter Option Match across collections

Aktiviere Check duplicate items across several collections? und füge CRM Export hinzu.

Wähle in der Event-Collection Attendee Email aus und ordne die Eigenschaft Email in der CRM-Collection zu.

Event Registrations und CRM Export mit dem Mapping von Attendee Email zu Email

Ein zuverlässiger Identifier ist wichtiger als der Name der Spalte. Gut geeignet sind beispielsweise:

E-Mail-Adresse bei Kontakten.
Telefonnummer, wenn beide Dateien kompatible Ländervorwahlen verwenden.
LinkedIn-URL bei Prospect-Listen.
Website-Domain bei Unternehmen.
SKU oder ein anderer stabiler Identifier bei Produkten.

Verwende nicht nur den Vornamen für den Abgleich. Verschiedene Personen können denselben Namen haben.

Wenn Du in einer Prüfung mehrere Eigenschaften auswählst, müssen die Datensätze die gesamte Konfiguration erfüllen. Führe separate Prüfungen durch, wenn Du nach E-Mail oder Telefonnummer statt nach E-Mail und Telefonnummer abgleichen möchtest.

Vergleich konfigurieren

Nutze Exact für stabile IDs, die vollständig identisch sein müssen. Wähle für E-Mail-Adressen Smart mit dem Email Processor.

Konfiguriertes Smart Matching mit dem Email Processor für beide Collections

Der Email Processor standardisiert unterstützte Varianten von E-Mail-Adressen für den Vergleich, ohne die ursprünglichen Zellen zu verändern. Details zum Verhalten und zu den Einschränkungen findest Du in der Anleitung zum Entfernen doppelter E-Mail-Adressen und Aliasse.

Klicke auf Run duplicates check, nachdem Du beide Quellen, ihre Eintragszahlen, die zugeordneten Eigenschaften und die Vergleichseinstellungen geprüft hast.

Treffer zwischen den Listen prüfen

In diesem Test wurden 500 Datensätze geprüft und 100 Collection-übergreifende Duplikatgruppen gefunden.

Collection-übergreifende Ergebnisse mit 500 geprüften Datensätzen und 100 Duplikatgruppen

Der Cross-Collection-Modus gibt nur Gruppen zurück, die Datensätze aus mehr als einer Collection enthalten. Duplikate, die ausschließlich in CRM Export oder ausschließlich in Event Registrations vorkommen, werden übersprungen.

Prüfe die Gruppen, bevor Du etwas löschst:

Stelle sicher, dass der zugeordnete Identifier tatsächlich dieselbe Person oder dasselbe Unternehmen bezeichnet.
Prüfe, ob die eingehende Zeile einzigartige Daten enthält.
Vergewissere Dich, welche Collection als Referenzliste dient.
Lade die Gruppen herunter, wenn eine andere Person das Ausschließen freigeben muss.
Nutze den Manual Merging Assistant für einzelne Gruppen, die zusammengeführt statt entfernt werden sollen.

Wenn Du zusätzlich Duplikate innerhalb einer der beiden Dateien bereinigen möchtest, führe für diese Collection separat den Duplicates Finder Workflow für eine einzelne Collection aus.

Überschneidungen aus der Eingangsliste entfernen

Wähle Remove duplicate items from collection {X} und anschließend Event Registrations als zu bereinigende Collection aus.

Datablist zeigt vor der Verarbeitung die Auswirkungen an:

Übereinstimmende Datensätze werden aus Event Registrations entfernt.
CRM Export bleibt unverändert.
Event-Datensätze ohne Treffer im CRM bleiben erhalten.
Eindeutige Werte, die nur in einem entfernten Event-Datensatz enthalten sind, gehen verloren.

Die Bereinigungsregel zum Entfernen von CRM-Überschneidungen aus Event Registrations

⚠️ Diese Aktion führt keine Daten im CRM zusammen

Wenn ein Event-Datensatz eine nützliche Telefonnummer, Quelle, Einwilligungsangabe oder Notiz enthält, die im CRM fehlt, wird sie beim automatischen Ausschließen nicht übernommen. Prüfe oder exportiere zuerst die Gruppen oder nutze für die betroffenen Gruppen den Manual Merging Assistant.

Bei drei oder mehr Collections bietet Datablist außerdem eine Regel an, die doppelte Datensätze nur in einer ausgewählten Collection behält. Prüfe die Zusammenfassung vor der Verarbeitung sorgfältig, da die Aktion Datensätze aus mehreren Quellen entfernen kann.

Klicke auf Process duplicate items, wenn die ausgewählte Collection und die Zusammenfassung dem gewünschten Ergebnis entsprechen.

Datablist hat in diesem Durchlauf alle 100 Collection-übergreifenden Gruppen verarbeitet. Anschließend wurden auf der Ergebnisseite keine verbleibenden Gruppen mehr angezeigt.

Erfolgreiche Verarbeitung von 100 Collection-übergreifenden Duplikatgruppen

Bereinigte Liste validieren

Kehre zu Event Registrations zurück. Die Collection enthält jetzt 150 Einträge.

Die bereinigte Collection Event Registrations mit 150 neuen Kontakten

Die Zeilenzahlen lassen sich wie folgt abgleichen:

250 eingehende Zeilen - 100 übereinstimmende CRM-Kontakte = 150 neue Zeilen

Prüfe vor dem Export:

CRM Export enthält weiterhin 250 Einträge.
Event Registrations enthält 150 Einträge.
Einige bekannte CRM-E-Mail-Adressen sind nicht mehr in der Event-Liste vorhanden.
Event-Kontakte ohne Treffer sind erhalten geblieben.
Die ausgeführte Aktion erscheint in History, falls Du sie rückgängig machen möchtest.

Exportiere die bereinigte Event-Collection als CSV- oder Excel-Datei. Sie ist jetzt für einen Net-New-Lead-Workflow bereit, ohne Kontakte erneut zu importieren, die bereits im CRM gespeichert sind.

Grenzen des Abgleichs mehrerer Listen

Der Abgleich mehrerer Collections verfolgt ein engeres Ziel als das Zusammenführen von Dateien:

Bei der automatischen Verarbeitung werden Datensätze entfernt. Felder aus verschiedenen Collections werden nicht zusammengeführt.
Interne Duplikate innerhalb einer Collection werden übersprungen.
Jede Vergleichseigenschaft muss in allen ausgewählten Collections zugeordnet werden.
Der Abgleich mehrerer Eigenschaften macht die Regel strenger.
Smart, Fuzzy und Phonetic Matching können Treffer liefern, die manuell geprüft werden müssen.
Cross-Collection Matching erfordert einen kostenpflichtigen Tarif.

Nutze diesen Workflow für Suppression Lists, Prüfungen vor einem CRM-Import, die Bereinigung von Event-Leads, den Ausschluss bestimmter Kampagnenzielgruppen oder jeden anderen Prozess, bei dem eine Liste als Single Source of Truth erhalten bleiben muss.

Wenn Du Dateien vor der Deduplizierung in einer Tabelle kombinieren möchtest, folge der Anleitung zum Zusammenführen von Tabellen. Möchtest Du ergänzende Werte innerhalb einer Collection erhalten, nutze den Workflow für eine einzelne Liste, um doppelte Leads ohne Datenverlust zusammenzuführen.