Um eine Liste online zu deduplizieren, legst Du zuerst fest, welches Feld eine Person, ein Unternehmen oder ein Produkt eindeutig identifiziert. Starte mit einem strikten Matching, prüfe die vorgeschlagenen Duplikatgruppen und führe anschließend nützliche Werte zusammen oder entferne Zeilen, die keine zusätzlichen Informationen enthalten. So bleibt die Bereinigung effizient, ohne jeden ähnlichen Wert vorschnell als sicheren Treffer einzustufen.
Mit Datablist erledigst Du das komplett im Browser. Importiere eine CSV- oder Excel-Datei, wähle die Matching-Eigenschaften aus, vergleiche die Zeilen, prüfe das Ergebnis und exportiere die bereinigte Liste. Die Duplikatsprüfung ist schreibgeschützt, bis Du eine Remove-, Merge- oder benutzerdefinierte Verarbeitungsaktion startest.
In diesem Guide verwenden wir eine herunterladbare Beispieldatei mit 1.000 Zeilen. Sie enthält exakte Kopien, E-Mail-Aliasse, unterschiedliche Firmennamen und URLs, einfache Abweichungen bei der Telefonnummernformatierung, Tippfehler, widersprüchliche Werte und Datensätze, die sich gegenseitig ergänzen.
🔑 Die sichere Regel für die Deduplizierung
Nutze zum Matching den kleinsten zuverlässigen Identifikator, aber entscheide anhand der vollständigen Zeile, welche Daten erhalten bleiben.
Eine einfache Werteliste deduplizieren
Wenn Deine Liste nur einen Wert pro Zeile enthält, speichere sie als einspaltige CSV-Datei mit einer Überschrift wie Email, Domain oder Value. Importiere sie in Datablist und führe für diese Spalte Clean > Remove duplicates mit Exact aus. Prüfe die Gruppen, wähle den Datensatz aus, der erhalten bleiben soll, verarbeite die doppelten Zeilen und exportiere anschließend die verbleibenden Werte.
Eine Beispielliste mit alpha.example, beta.example und alpha.example sollte nach dem Entfernen der wiederholten Zeile genau einen Alpha- und einen Beta-Wert enthalten. Das ist lediglich ein Beispiel für Ein- und Ausgabe, keine weitere Messung aus der herunterladbaren Beispieldatei.
Diesen Weg würde ich für eine Liste aus Identifikatoren wählen. Enthält Deine Datei mehrere Spalten, musst Du hingegen doppelte Datensätze auflösen: Wenn Du eine Zeile entfernst, verschwinden auch alle anderen Werte dieser Zeile. Nutze den weiter unten beschriebenen Merge-Workflow, wenn eine zweite Zeile mit derselben E-Mail-Adresse beispielsweise eine nützliche Telefonnummer oder Notiz enthält.
Behandle leere Identifikatoren separat. Beim standardmäßigen Vergleich ausgewählter Eigenschaften begründet ein fehlender Text-Identifikator keine Übereinstimmung. Wenn Du leere Zeilen löschen möchtest, solltest Du sie gezielt bereinigen, statt von der Deduplizierung eine Entscheidung darüber zu erwarten, wofür sie stehen.
Eindeutige Merkmale eines Datensatzes bestimmen
Beginne nicht mit dem Matching-Algorithmus, sondern mit der Definition der Entität.
Kontakte, Unternehmen, Produkte und Transaktionen benötigen jeweils andere Identifikatoren:
| Liste | Geeignete Identifikatoren für den ersten Durchlauf | Sinnvoller zweiter Durchlauf |
|---|---|---|
| Kontakte | E-Mail, Telefon, LinkedIn-URL | Vollständiger Name plus Unternehmen |
| Unternehmen | Website-Domain, Unternehmens-ID | Normalisierter Firmenname |
| Produkte | SKU, EAN, GTIN, Produkt-URL | Produktname plus Marke |
| CRM-Leads | E-Mail, Telefon, CRM-ID | Name plus Unternehmensdomain |
| Bestellungen | Bestell-ID | Kunden-ID plus Bestelldatum |
Ein einzelner Durchlauf findet selten alle Duplikate. Ein Kontakt kann in zwei Zeilen dieselbe E-Mail-Adresse haben, während ein anderer Kontakt seine E-Mail-Adresse geändert hat, aber weiterhin dieselbe Telefonnummer nutzt. Führe für unterschiedliche Identifikatoren separate Durchläufe aus, statt eine einzige Regel mit allen Eigenschaften zu erstellen.
Zum Beispiel:
- Gleiche Kontakte anhand der E-Mail-Adresse ab.
- Verarbeite die geprüften Gruppen.
- Normalisiere die Telefonnummern und führe anschließend eine Exact-Prüfung für die bereinigte Eigenschaft aus.
- Führe ein vorsichtiges Fuzzy-Matching mit vollständigem Namen plus Unternehmen durch.
Wähle die Regel für leere Werte aus, bevor Du einem Vergleich weitere Felder hinzufügst. Mit Value required kann ein fehlender Identifikator einen ansonsten sinnvollen Kandidaten ausschließen.
Bei Match on empty value erhalten gemeinsam leere Eigenschaften einen Score von 100 % und können den Durchschnitt erhöhen: Eine übereinstimmende E-Mail-Adresse plus ein beidseitig fehlender Nachname ergeben 87,5 %. Werden drei weitere Eigenschaften hinzugefügt, die in beiden Datensätzen leer sind, steigt der Score auf 95 %. Sieh Dir das Beispiel zur Bewertung leerer Werte an, bevor Du davon ausgehst, dass mehr Spalten automatisch stärkere Indizien liefern.
Nutze die speziellen Guides, wenn ein Identifikator eine eigene Normalisierung benötigt:
- E-Mail-Adressen und Aliasse deduplizieren
- Doppelte Firmennamen abgleichen
- Ein Feld mit mehreren Werten deduplizieren
- Lokale und internationale Telefonnummern normalisieren
Beispieldatei mit 1.000 Zeilen herunterladen
Lade die Demo-CSV zur Deduplizierung herunter. Sie enthält 1.000 Zeilen, die 800 gezielt erstellte Entitäten darstellen.
Die Datei kombiniert mehrere Testfälle:
| Testfall | Duplikatgruppen | Matching-Durchlauf |
|---|---|---|
| Exakte Kopien vollständiger Zeilen | 5 | All Properties mit Exact |
| E-Mail-Aliasse und Wrapper | 100 | Email mit Smart und dem Email-Prozessor |
| Varianten von Firmennamen und URLs | 50 | Company Name- oder URL-Verarbeitung |
| Einfache US-Formatierungsunterschiede bei Telefonnummern | 25 | Phone mit Smart, nur Formatierung |
| Kontrollierte Tippfehler in Namen | 15 | Jaro-Winkler oder Levenshtein |
| Phonetische Varianten von Vornamen | 5 | Metaphone |
| Datensätze ohne gezielt erstelltes Duplikat | 600 | Sollten getrennt bleiben |
Diese Zahlen entsprechen den gezielt erstellten Testdaten. Sie sind keine Garantie dafür, dass jeder Fuzzy-Schwellenwert zum selben Ergebnis führt. Distance-Matching kann bei einem niedrigen Schwellenwert zusätzliche Kandidaten einschließen. Prüfe diese Gruppen vor der Verarbeitung.
Hier sind drei Paare aus der Datei:
| Anwendungsfall | Erster gespeicherter Wert | Zweiter gespeicherter Wert |
|---|---|---|
| E-Mail-Alias | felix.patel.605@company-0605.example | felix.patel.605+newsletter@company-0605.example |
| Unternehmen und URL | Redwood 0727, Inc.https://www.redwood-0727.example/ | Redwood 0727 Group LLChttp://redwood-0727.example/about?utm_source=event |
| Einfache Telefonnummernformatierung | +1 (202) 555-0768 | 1 202 555 0768 |
Auch bei Feldern wie Jobtitel, Owner, Status, Umsatz, Quelle, Tags und Notizen unterscheiden sich die Zeilen. Durch diese Konflikte eignet sich die Datei gut, um Regeln für den Master-Datensatz und die Übernahme einzelner Feldwerte zu testen.
Liste in Datablist importieren
Öffne Datablist und importiere die CSV- oder Excel-Datei in eine Collection. Eine Collection funktioniert wie eine strukturierte Tabelle: Die Zeilen sind Items und die Spalten sind Eigenschaften.
Prüfe beim Import die erkannten Eigenschaftstypen:
- E-Mail-Spalten sollten den Typ Email verwenden.
- Website-Spalten sollten URL verwenden.
- Telefonnummernspalten sollten Phone verwenden.
- Spalten für Umsatz oder Mengen sollten Number verwenden.
- Aktivitäts- und Erstellungsdaten sollten DateTime verwenden.
Behalte IDs sowie die Spalten für Quelle, Owner, Notizen und Status in der Collection. Sie helfen Dir, den richtigen Datensatz auszuwählen und zu kontrollieren, welche Werte beim Merge erhalten bleiben.
Exact-, Smart- und Fuzzy-Matching ausführen
Öffne Clean und wähle die Aktion aus, die zu Deinem Ziel passt:
- Remove duplicates, wenn zusätzliche Zeilen verworfen werden können.
- Merge duplicates, wenn die Zeilen erhaltenswerte Informationen enthalten.
- Match across collections, wenn sich die Datensätze in verschiedenen Collections befinden.
Die ersten beiden Aktionen verwenden dieselbe Erkennungs-Engine. Sie öffnen den Ergebnisbereich lediglich mit einem anderen vorausgewählten Verarbeitungsmodus.
Mit Exact-Matching beginnen
Nutze All Properties mit Exact, um Zeilen zu finden, die unverändert doppelt kopiert wurden. Wähle Selected Properties, wenn ein bestimmtes Feld wie eine externe ID identisch sein muss.
Bei der Beispieldatei mit 1.000 Zeilen liefert dieser Durchlauf fünf Duplikatgruppen. Jede Gruppe enthält zwei Zeilen, deren Werte in allen Eigenschaften übereinstimmen.
Exact ist der sicherste erste Durchlauf, da jeder übernommene Treffer einen strikten Vergleich erfüllt. Acme Inc. und Acme, unterschiedlich formatierte Telefonnummern oder E-Mail-Aliasse mit abweichenden gespeicherten Werten werden damit nicht erkannt.
Auch ohne Anmeldung kannst Du eine Exact-Duplikatsprüfung ausführen. Mit einem kostenlosen Konto werden der Smart-Vergleich und die weiteren Funktionen des Free-Plans freigeschaltet.
Smart-Matching für Geschäftsdaten nutzen
Smart-Matching standardisiert Werte für den Vergleich, ohne die gespeicherten Zellen zu verändern. Wähle einen Prozessor, der zur jeweiligen Eigenschaft passt:
- Email berücksichtigt Groß- und Kleinschreibung, umgebende Leerzeichen, Plus-Aliasse, Punkte in Gmail-Adressen,
googlemail.com, Display-Name-Wrapper undmailto:-Werte. - URL kann Protokolle und einen abschließenden Schrägstrich ignorieren. Optional lassen sich auch Subdomains, Pfade und Query-Parameter steuern.
- Phone ignoriert Formatierungszeichen. Der Prozessor validiert keine Nummern, nutzt keine Country-Eigenschaft und ergänzt keinen fehlenden Ländercode.
- Company Name entfernt häufige Rechtsform-, Geschäfts- und geografische Begriffe.
- Text ignoriert Akzente, Leerzeichen, Satzzeichen, Symbole, Groß- und Kleinschreibung sowie die Wortreihenfolge.
Der Company Name-Prozessor, das Matching mehrerer Werte und fortgeschrittene Algorithmen setzen einen kostenpflichtigen Plan voraus. Exact und Smart sind im Free-Plan für das Matching innerhalb einer Collection verfügbar, wobei Smart ein kostenloses Konto erfordert.
Enthält eine Zelle mehrere durch Semikolons getrennte Identifikatoren, aktiviere Multiple Values. Datablist vergleicht die einzelnen Bestandteile und wertet die Eigenschaft als Treffer, sobald mindestens ein Wertepaar übereinstimmt. Eine Zelle mit primary@example.com;shared@example.com kann beispielsweise mit einer zweiten Zelle übereinstimmen, die shared@example.com enthält.
In der speziellen Beispieldatei mit 200 Zeilen ergab diese Konfiguration 60 Gruppen mit jeweils zwei Zeilen. Die Validierung anhand der bekannten Testdaten fand alle 60 vorgesehenen Paare und schloss sämtliche 80 Kontrollzeilen aus. Im Workflow zur Deduplizierung von Feldern mit mehreren Werten findest Du die Beispieldatei, die Ergebnis-CSV und Hinweise zu Merge-Entscheidungen.
Dieser E-Mail-Durchlauf ergab 105 Gruppen mit jeweils zwei Zeilen: 100 gezielt erstellte Paare für die E-Mail-Normalisierung sowie die fünf exakten Kopien, die ebenfalls dieselbe E-Mail-Adresse verwenden.
Telefonnummern vor dem Matching normalisieren
Der Smart Phone-Prozessor eignet sich für einen klar begrenzten Fall: Werte mit denselben Ziffern, aber unterschiedlichen Leerzeichen, Klammern, Bindestrichen oder Symbolen. So kann er (415) 555-0123 mit 4155550123 abgleichen.
Er kann jedoch nicht erkennen, dass eine lokale und eine internationale Nummer identisch sind. Für den Vergleich von 06 12 34 50 08 und +33 6 12 34 50 08 wird beispielsweise ein Länderkontext benötigt.
Nutze vor der telefonnummernbasierten Deduplizierung den Phone Number Cleaner:
- Ordne die ursprüngliche Eigenschaft
Phonezu. - Wähle bei einer Liste aus nur einem Land das Land unter Local Phone Countries aus. Aktiviere bei einer gemischten Liste Define country per item und ordne die Eigenschaft
Countryzu. - Schreibe das Enrichment-Ergebnis in
Clean Phone Number, ohne den ursprünglichen Wert zu überschreiben. - Prüfe fehlgeschlagene oder leere Ergebnisse. Sie sollten nicht am telefonnummernbasierten Matching teilnehmen.
- Führe den Duplicates Finder für
Clean Phone Numbermit Exact aus.
Lade die spezielle Beispieldatei mit 200 Telefonnummern herunter. Sie enthält 50 Paare aus lokalen und internationalen Nummern aus den USA, Frankreich, dem Vereinigten Königreich, Deutschland und Spanien sowie 100 nicht übereinstimmende Kontrollwerte. Bei der Validierung mit der produktiven Cleaner-Logik wurde für alle 200 Zeilen eine normalisierte Telefonnummer zurückgegeben. Die 50 vorgesehenen Paare werden auf 50 gemeinsame internationale Werte vereinheitlicht, während die Kontrollwerte eindeutig bleiben.
Dieser Vorbereitungsschritt validiert außerdem das Telefonnummernformat. Behalte die ursprünglichen Eigenschaften Phone und Country neben dem bereinigten Ergebnis, damit Du jeden Datensatz vor dem Merge prüfen kannst. Unter Was Telefonnummern-Normalisierung bedeutet erfährst Du mehr über die Rolle von Ländercodes und internationalen Werten.
Führe für Unternehmensdatensätze einen separaten Durchlauf mit Website aus. Wähle Smart mit dem URL-Prozessor. Aktiviere Ignore Subdomain, Ignore Path und Ignore Query Params nur dann, wenn diese URL-Bestandteile kein anderes Unternehmen und keinen anderen Standort kennzeichnen sollen.
Bei derselben Beispieldatei mit 1.000 Zeilen ergab diese Konfiguration 200 Gruppen mit jeweils zwei Zeilen. 50 Paare enthalten gezielt erstellte URL-Varianten, während 150 Paare bereits dieselbe Website verwenden. In diesem Test führten alle exportierten Paare zum selben normalisierten Host.
Lade die 200 Website-Duplikatgruppen herunter oder sieh Dir den Workflow zur Deduplizierung von Unternehmen an, um eine Domain-first-Matching-Strategie kennenzulernen.
Fuzzy- oder phonetisches Matching zur Prüfung nutzen
Metaphone vergleicht, wie ähnlich Texte klingen. Jaro-Winkler und Levenshtein berechnen einen Ähnlichkeitsscore und helfen so, Schreibvarianten wie Uma Turner und Uman Turner zu finden.
Fuzzy-Treffer sind Kandidaten, keine bestätigten Duplikate. Beginne mit einem hohen Schwellenwert, prüfe die schwächsten Gruppen und senke den Ergebnisschwellenwert nur, solange die Treffer präzise bleiben.
Wähle für einen messbaren Fuzzy-Durchlauf Full Name, dann Distance mit Levenshtein, behalte den Text-Prozessor bei und setze den Schwellenwert auf 90 %.
Diese Prüfung ergab in der Beispieldatei mit 1.000 Zeilen 77 Gruppen mit jeweils zwei Zeilen. Die Validierung anhand der bekannten Testdaten identifizierte 21 Gruppen, die dieselbe vorgesehene Entität verbinden, und 56 Gruppen mit unterschiedlichen Entitäten. Bei den meisten False Positives handelte es sich um abgekürzte Namen wie G. Rossi, bei denen Full Name allein nicht ausreicht, um zwei Personen zu unterscheiden.
Der Durchlauf findet beabsichtigte Schreibvarianten wie Uma A. Turner und Uman A. Turner, zeigt aber auch, warum Fuzzy-Treffer, die nur auf Namen beruhen, geprüft werden müssen.
Lade die 77 exportierten Levenshtein-Gruppen herunter, um sowohl sinnvolle Treffer als auch False Positives zu prüfen.
Wähle für phonetisches Matching Full Name, dann Metaphone und behalte den Text-Prozessor bei.
Dieser Durchlauf zeigte 69 Gruppen an: 5 unter Ready und 64 unter Needs review. Die exportierten Gruppen enthalten 188 Zeilen. Bei der Validierung anhand der bekannten Entitäten der Beispieldatei wurden 19 reine Gruppen derselben Entität und 50 Gruppen mit unterschiedlichen Personen gefunden. Die Gruppen umfassen jeweils zwei bis sieben Zeilen.
Why matched bestätigt die Eigenschaft Full Name, den Metaphone-Algorithmus, den Text-Prozessor und den Gruppenscore. Nutze diese Angaben, um den Vergleich nachzuvollziehen – nicht als Ersatz für eine Identitätsprüfung.
Lade die 69 exportierten Metaphone-Gruppen herunter, um die sinnvollen phonetischen Treffer und die False Positives zu prüfen. Größere Gruppen mit False Positives kombinieren häufig Initialen mit einem verbreiteten Nachnamen, etwa mehrere abgekürzte Rossi-Namen. Ihre phonetischen Codes überschneiden sich, aber die Namen allein liefern nicht genügend Identitätsmerkmale für einen automatischen Merge.
Die Ergebnisseite bietet zwei Steuerelemente:
- Include matches from bestimmt, welche Gruppen angezeigt werden.
- Process automatically from belässt Gruppen mit niedrigerer Konfidenz unter Needs review und schließt sie von der Batch-Verarbeitung aus.
Durch diese Trennung kannst Du eine breite Auswahl an Kandidaten prüfen, ohne dieselbe Automatisierungsregel auf alle anzuwenden.
Duplikatgruppen prüfen
Der Ergebnisbereich unterteilt die Duplikatgruppen in Ready und Needs review.
- Ready-Gruppen haben ein konkretes Verarbeitungsergebnis und erfüllen den automatischen Konfidenzschwellenwert.
- Needs-review-Gruppen weisen eine niedrigere Konfidenz, ungelöste Merge-Konflikte, eine nicht zutreffende Regel zur Datensatzauswahl oder eine benutzerdefinierte Regel auf, die sie übersprungen hat.
Prüfe bei jeder unsicheren Gruppe:
- Steht jede Zeile für dieselbe Person, dasselbe Unternehmen oder dasselbe Produkt?
- Welcher Identifikator hat den Treffer ausgelöst?
- Ergänzen sich bestimmte Werte?
- Welche Quelle ist maßgeblich?
- Würde beim Entfernen einer Zeile eine Telefonnummer, ID, ein Status, Datum oder eine Notiz verloren gehen?
- Ist die Gruppe über einen schwachen dritten Datensatz verbunden?
Mit Why matched kannst Du die Matching-Eigenschaften, Algorithmen, Prozessoren und Score-Bereiche prüfen. Bei Fuzzy-Prüfungen entspricht die Gruppenähnlichkeit der schwächsten beibehaltenen Verbindung, die erforderlich ist, um die Gruppe zusammenzuhalten.
Du kannst außerdem:
- Einen Treffer mit niedriger Konfidenz bestätigen.
- Einen Datensatz aus einer Gruppe entfernen, ohne ihn zu löschen.
- Eine Gruppe überspringen.
- Einen Datensatz öffnen und bearbeiten.
- Die Gruppe im Merging Assistant prüfen.
- Alle verbleibenden Gruppen durchsuchen und die riskantesten Kandidaten zuerst anzeigen.
⚠️ Verarbeite eine Fuzzy-Gruppe nicht allein anhand des Prozentwerts
Ähnliche Namen können zu unterschiedlichen Personen gehören. Prüfe die Identifikatoren und die umliegenden Felder, bevor Du die Gruppe bestätigst.
Gemeinsame und fehlende Identifikatoren vor dem Merge prüfen
Ein gemeinsames Postfach wie info@company.example kann von mehreren Kontakten genutzt werden. Zwei Personen mit dieser Adresse können beim E-Mail-Matching übereinstimmen und trotzdem unterschiedliche Personen sein. Ebenso kann eine Unternehmensdomain zwar ein Unternehmen identifizieren, aber in vielen Mitarbeiterdatensätzen vorkommen.
Ich würde solche Gruppen von einem automatischen Merge auf Personenebene ausschließen, bis ein weiterer Identifikator den Treffer bestätigt. Wenn Dein Ziel dagegen eine Zeile pro Unternehmen ist, kann die gemeinsame Domain genau der gewünschte Gruppierungsschlüssel sein. Definiere zuerst die Entität und interpretiere dann das Ergebnis.
Auch die Regel für leere Werte beeinflusst einen Vergleich ausgewählter Eigenschaften. Bei einer Prüfung mehrerer Eigenschaften mit einem anderen Vergleich als Exact bietet die erweiterte Einstellung Empty Value Rule die Optionen Value required (default) und Match on empty value. Die Standardeinstellung verlangt, dass der Text-Identifikator vorhanden ist. Das Matching leerer Werte lockert diese Anforderung. Verwende diese Option nur, wenn die übrigen Matching-Felder genügend Identitätsmerkmale liefern. Zwei fehlende E-Mail-Adressen sind kein Beleg dafür, dass zwei Personen identisch sind.
Zwei Zeilen mit leerer Email und unterschiedlichen Full Name-Werten sollten beispielsweise nicht allein deshalb zusammengeführt werden, um die Zeilenzahl zu reduzieren. Eine Zeile ohne E-Mail-Adresse kann trotzdem einen Kontakt enthalten, den Du behalten oder später anreichern möchtest.
Duplikate entfernen, mergen oder individuell verarbeiten
Duplikate zu finden und Duplikate aufzulösen sind zwei getrennte Entscheidungen. Wähle den Verarbeitungsmodus erst, nachdem Du geprüft hast, welche Informationen die zusätzlichen Zeilen enthalten.
Duplikate entfernen, wenn eine Zeile maßgeblich ist
Remove duplicates behält einen ausgewählten Datensatz unverändert bei und löscht die übrigen Zeilen jeder Ready-Gruppe.
Diese Option eignet sich für kopierte Zeilen, temporäre Importe oder Datensätze, deren zusätzliche Werte verworfen werden können. Die Vorschau warnt Dich, wenn die zu entfernenden Datensätze zusätzliche oder widersprüchliche Informationen enthalten. Diese Werte werden nicht in die beibehaltene Zeile kopiert.
Datensätze mit nützlichen Informationen mergen
Merge and preserve data füllt leere Eigenschaften des ausgewählten Datensatzes, löst Konflikte nach den konfigurierten Regeln und löscht anschließend die zusätzlichen Zeilen.
Beginne mit der Regel Record to keep. Standardmäßig ist Most Complete ausgewählt. In kostenpflichtigen Plänen kannst Du Regeln auf Basis des Erstellungszeitpunkts, des Aktualisierungszeitpunkts, des höchsten oder niedrigsten Eigenschaftswerts oder eines erforderlichen Eigenschaftswerts verwenden.
Lege anschließend fest, wie mit den Konflikten jeder Eigenschaft umgegangen werden soll:
- Kombiniere unterschiedliche Textwerte mit einem Trennzeichen.
- Behalte den Wert des ausgewählten Datensatzes.
- In kostenpflichtigen Plänen kannst Du Werte unabhängig voneinander nach Regeln wie neuester, ältester, längster, kürzester, höchster, niedrigster oder häufigster Wert auswählen.
Nutze Regeln auf Feldebene, wenn kein einzelner Datensatz für jede Eigenschaft den besten Wert enthält. So kannst Du die ID des ausgewählten Datensatzes erhalten und zugleich einen neueren Jobtitel, einen längeren Firmennamen und den häufigsten Status aus anderen Zeilen übernehmen.
Aktualisiere die Vorschau, nachdem Du den Schwellenwert, den Workflow, die Gruppenzugehörigkeit, die Konflikteinstellungen oder die Regel zur Datensatzauswahl geändert hast.
Custom with AI für gruppenspezifische Regeln nutzen
Custom with AI erstellt aus einer natürlich formulierten Anweisung einen Workflow zur Gruppenverarbeitung. Er kann einen Datensatz auswählen, Werte kopieren oder normalisieren, eine Statuseigenschaft hinzufügen, eine Gruppensumme berechnen, zusätzliche Zeilen löschen oder Gruppen überspringen, die eine Bedingung nicht erfüllen.
Zum Beispiel:
Behalte den Datensatz, dessen Source „CRM export“ ist. Kopiere den Job Title aus dem neuesten Datensatz, kombiniere unterschiedliche Notes mit Zeilenumbrüchen, füge eine Duplicate Reviewed-Checkbox hinzu und lösche anschließend die zusätzlichen Datensätze.
Verweise mit /Property oder {{Property}} auf Collection-Eigenschaften. Generiere den Workflow und prüfe die Vorschau, bevor Du ihn ausführst. Custom with AI steht angemeldeten Nutzern mit einem kostenpflichtigen Plan zur Verfügung.
Öffne bei einzelnen Ausnahmen Review group und nutze den Merging Assistant, statt die Batch-Regel unnötig zu verkomplizieren.
Bereinigte Liste validieren und exportieren
Prüfe vor der Verarbeitung der Ready-Gruppen:
- Die Vorschau entspricht den aktuellen Einstellungen.
- Gruppen mit niedriger Konfidenz oder gemeinsam genutzten Identifikatoren wurden geprüft.
- Der ausgewählte Datensatz enthält die ID, die erhalten bleiben soll.
- Einmalige Werte für Telefon, Quelle, Notizen und Status bleiben erhalten.
- Felder, in denen nur ein Wert zulässig ist, werden nicht zusammengefügt.
- Die angezeigte Anzahl der Ready-Gruppen entspricht dem gewünschten Verarbeitungsumfang.
Gleiche nach der Verarbeitung die Zeilenzahl ab:
Ausgangszeilen - gelöschte zusätzliche Zeilen = endgültige Zeilenzahl
Beim Exact-Durchlauf in diesem Guide hat Datablist fünf Gruppen mit jeweils zwei Zeilen zusammengeführt. Die Collection wurde dadurch von 1.000 auf 995 Items reduziert.
Lade die Duplikatgruppen vor der Verarbeitung herunter, wenn Du eine externe Prüfdatei benötigst. Kostenpflichtige Pläne enthalten nutzbare IDs für Duplikatgruppen und ein Änderungsprotokoll nach der Verarbeitung. Das Änderungsprotokoll erfasst gelöschte und aktualisierte Datablist-IDs samt vorherigen Werten und Zielwerten.
Automatische Remove- und Merge-Aktionen erscheinen außerdem in der History der Collection und können dort rückgängig gemacht werden.
Kehre zur Collection zurück und öffne Export, um die bereinigte CSV- oder Excel-Datei herunterzuladen.
Mehrere Listen deduplizieren
Nutze Collection-übergreifendes Matching, wenn Du eine neue Lead-Datei mit einem CRM-Export vergleichen möchtest. Behandle das CRM als Referenzliste und entferne dessen Treffer aus der eingehenden Liste, bevor Du diese importierst.
Lade die Demo-CRM-Datei herunter und die Demo-Event-Datei, um diesen Workflow zu testen. Die beiden Dateien verwenden unterschiedliche Spaltenüberschriften und enthalten 100 gezielt erstellte E-Mail-Überschneidungen. Beide Dateien beginnen mit jeweils 250 Zeilen.
Importiere jede Datei in eine eigene Collection und öffne anschließend Clean > Match across collections. Füge beide Collections hinzu und ordne einander entsprechende Eigenschaften zu, etwa Email und Attendee Email.
In diesem Test lieferte Smart-Matching mit dem Email-Prozessor 100 Collection-übergreifende Gruppen aus 500 geprüften Datensätzen. Wähle unter Remove duplicate items from collection {X} die Collection Event Registrations aus, damit das CRM unverändert bleibt und dessen Treffer aus der Event-Liste entfernt werden.
Die automatische Collection-übergreifende Bereinigung entfernt Zeilen. Einmalige Event-Werte werden nicht in das CRM übernommen. Exportiere oder prüfe deshalb zuerst die Gruppen, wenn die eingehenden Datensätze Informationen enthalten, die erhalten bleiben sollen.
Nach der Verarbeitung der 100 Überschneidungen enthält Event Registrations noch 150 neue Kontakte.
Collection-übergreifendes Matching ist eine Premium-Funktion. Im ausführlichen Guide erfährst Du, wie Du mehrere CSV- oder Excel-Dateien deduplizierst und welche Optionen für Zuordnung und Verarbeitung verfügbar sind.
FAQ
Kann ich eine Liste kostenlos online deduplizieren?
Ja. Auch ohne Anmeldung kannst Du eine Exact-Prüfung ausführen. Ein kostenloses Konto schaltet Smart-Matching und die weiteren Funktionen des Free-Plans für einzelne Collections frei. Fuzzy- und phonetische Algorithmen, fortgeschrittene Prozessoren, Collection-übergreifendes Matching, konfigurierbare Regeln zur Datenübernahme und Custom with AI erfordern einen kostenpflichtigen Plan.
Sollte ich doppelte Zeilen entfernen oder mergen?
Entferne Zeilen, wenn ein Datensatz maßgeblich ist und die übrigen keine benötigten Informationen enthalten. Nutze Merge, wenn zusätzliche Zeilen nützliche Werte enthalten. Die Remove-Vorschau warnt Dich, wenn dabei Daten verworfen würden.
Findet Datablist Duplikate trotz Tippfehlern?
Ja. Jaro-Winkler und Levenshtein vergleichen die Ähnlichkeit von Texten, während Metaphone deren Klang vergleicht. Diese fortgeschrittenen Algorithmen setzen einen kostenpflichtigen Plan voraus und ihre Treffer sollten geprüft werden.
Kann ich doppelte Zeilen ohne Datenverlust mergen?
Datablist kann leere Felder füllen, Textwerte kombinieren, den Wert des ausgewählten Datensatzes beibehalten oder Regeln zur Übernahme einzelner Feldwerte anwenden. Prüfe die Vorschau sorgfältig, denn jeder Wert, den Du verwirfst, fehlt anschließend im zusammengeführten Datensatz.
Wie groß darf die Liste sein?
Der Free-Plan unterstützt im Browser-Speicher bis zu 1 Million Items pro Collection. Kostenpflichtige Pläne erlauben den Import von bis zu 2 Millionen Items pro Collection. Umfangreiche lokale Vorgänge hängen weiterhin vom verwendeten Browser und Gerät ab.
Kann ich Duplikate prüfen, ohne die Liste zu verändern?
Ja. Die Erkennung ist schreibgeschützt. Du kannst Gruppen prüfen, Schwellenwerte anpassen, Why matched verwenden, Ergebnisse durchsuchen und sortieren sowie doppelte Zeilen herunterladen, bevor Du eine Verarbeitungsaktion startest.
Alle Einstellungen und Einschränkungen findest Du in der vollständigen Duplicate Finder-Dokumentation.




























