Listen online deduplizieren – ohne Datenverlust

Um eine Liste online zu deduplizieren, legst Du zuerst fest, welches Feld eine Person, ein Unternehmen oder ein Produkt eindeutig identifiziert. Führe zunächst einen strikten Abgleich durch, prüfe die vorgeschlagenen Duplikatgruppen und führe anschließend nützliche Werte zusammen oder entferne Zeilen ohne zusätzliche Informationen. So bereinigst Du Deine Daten schnell, ohne jeden ähnlichen Wert vorschnell als sicheres Duplikat einzustufen.

Mit Datablist erledigst Du das komplett im Browser. Importiere eine CSV- oder Excel-Datei, wähle die Eigenschaften für den Abgleich, vergleiche die Zeilen, prüfe das Ergebnis und exportiere die bereinigte Liste. Die Duplikatsprüfung verändert keine Daten, bis Du eine Remove-, Merge- oder benutzerdefinierte Verarbeitungsaktion startest.

Dieser Guide verwendet eine herunterladbare Beispieldatei mit 1.000 Zeilen. Sie enthält exakte Kopien, E-Mail-Aliasse, unterschiedliche Firmennamen und URLs, einfache Abweichungen bei der Telefonnummernformatierung, Tippfehler, widersprüchliche Werte und Datensätze, die sich gegenseitig ergänzen.

🔑 Die sichere Regel für die Deduplizierung

Gleiche Datensätze anhand der kleinsten verlässlichen Kennung ab, entscheide aber anhand der vollständigen Zeile, welche Daten Du behältst.

Eine einfache Werteliste deduplizieren

Wenn Deine Liste einen Wert pro Zeile enthält, speichere sie als einspaltige CSV-Datei mit einer Überschrift wie Email, Domain oder Value. Importiere sie in Datablist und führe für diese Spalte Clean > Remove duplicates mit Exact aus. Prüfe die Gruppen, wähle den Datensatz aus, den Du behalten möchtest, verarbeite die doppelten Zeilen und exportiere anschließend die verbleibenden Werte.

Eine Beispielliste mit alpha.example, beta.example und alpha.example sollte nach dem Entfernen der wiederholten Zeile jeweils einen Alpha- und einen Beta-Wert enthalten. Dies ist lediglich ein Beispiel für Ein- und Ausgabe, keine weitere Messung aus der herunterladbaren Beispieldatei.

Diesen Weg würde ich für eine Liste mit Identifikatoren wählen. Enthält Deine Datei mehrere Spalten, musst Du dagegen doppelte Datensätze zusammenführen: Wenn Du eine Zeile entfernst, werden auch alle anderen Werte dieser Zeile gelöscht. Nutze den weiter unten beschriebenen Merge-Workflow, wenn eine zweite Zeile mit derselben E-Mail-Adresse beispielsweise eine nützliche Telefonnummer oder Notiz enthält.

Behandle leere Identifikatoren separat. Beim standardmäßigen Vergleich ausgewählter Eigenschaften begründet ein fehlender Text-Identifikator keine Übereinstimmung. Wenn Du leere Zeilen löschen möchtest, solltest Du diese Bereinigung ausdrücklich durchführen, statt von der Deduplizierung eine Interpretation der Zeilen zu erwarten.

Festlegen, was einen Datensatz eindeutig macht

Beginne nicht mit dem Matching-Algorithmus, sondern definiere zuerst die Entität.

Kontakte, Unternehmen, Produkte und Transaktionen benötigen unterschiedliche Identifikatoren:

Ein einziger Durchlauf findet selten alle Duplikate. Ein Kontakt kann in zwei Zeilen dieselbe E-Mail-Adresse haben, während ein anderer seine E-Mail-Adresse geändert, aber dieselbe Telefonnummer behalten hat. Führe für unterschiedliche Identifikatoren separate Durchläufe aus, statt eine einzige Regel mit sämtlichen Eigenschaften zu erstellen.

Zum Beispiel:

1. Gleiche Kontakte anhand ihrer E-Mail-Adresse ab.
2. Verarbeite die geprüften Gruppen.
3. Normalisiere die Telefonnummern und führe anschließend einen Exact-Abgleich für die bereinigte Eigenschaft aus.
4. Führe einen vorsichtigen Fuzzy-Abgleich mit vollständigem Namen und Unternehmen durch.

Wenn Du E-Mail, Telefonnummer, Name und Unternehmen in einer Prüfung kombinierst, wird das Matching strenger. Eine Zeile muss dann die vollständige Konfiguration erfüllen, sodass bereits ein fehlender Wert ein echtes Duplikat verbergen kann.

Nutze die speziellen Guides, wenn ein Identifikator eigens normalisiert werden muss:

• E-Mail-Adressen und Aliasse deduplizieren
• Doppelte Firmennamen abgleichen
• Ein Feld mit mehreren Werten deduplizieren
• Lokale und internationale Telefonnummern normalisieren

Beispieldatei mit 1.000 Zeilen herunterladen

Demo-CSV zur Deduplizierung herunterladen. Sie enthält 1.000 Zeilen, die 800 gezielt erstellte Entitäten darstellen.

Die Datei kombiniert mehrere Testfälle:

Dabei handelt es sich um gezielt erstellte Referenzwerte und nicht um ein Versprechen, dass jeder Fuzzy-Schwellenwert dasselbe Ergebnis liefert. Distance Matching kann bei einem niedrigen Schwellenwert zusätzliche Kandidaten einschließen. Prüfe diese Gruppen vor der Verarbeitung.

Hier sind drei Paare aus der Datei:

Die Zeilen unterscheiden sich außerdem bei Feldern wie Jobtitel, Owner, Status, Umsatz, Quelle, Tags und Notizen. Durch diese Konflikte eignet sich die Datei gut zum Testen von Regeln für Master-Datensätze und Field Survivorship.

Liste in Datablist importieren

Öffne Datablist und importiere die CSV- oder Excel-Datei in eine Collection. Eine Collection funktioniert wie eine strukturierte Tabelle: Zeilen sind Items und Spalten sind Eigenschaften.

Prüfe beim Import die erkannten Eigenschaftstypen:

• E-Mail-Spalten sollten den Typ Email verwenden.
• Website-Spalten sollten URL verwenden.
• Telefonnummernspalten sollten Phone verwenden.
• Umsatz- oder Mengenspalten sollten Number verwenden.
• Aktivitäts- und Erstellungsdaten sollten DateTime verwenden.

Lass IDs, Quelle, Owner, Notizen und Status in der Collection. Diese Angaben helfen Dir, den richtigen Datensatz auszuwählen und zu kontrollieren, welche Daten beim Merge erhalten bleiben.

Exact, Smart und Fuzzy Matching ausführen

Öffne Clean und wähle die passende Aktion für Dein Ziel:

• Remove duplicates, wenn zusätzliche Zeilen gelöscht werden können.
• Merge duplicates, wenn die Zeilen erhaltenswerte Informationen enthalten.
• Match across collections, wenn sich die Datensätze in verschiedenen Collections befinden.

Die ersten beiden Aktionen verwenden dieselbe Erkennungs-Engine. Sie öffnen den Ergebnisbereich jeweils mit einem anderen vorausgewählten Verarbeitungsmodus.

Mit Exact Matching beginnen

Nutze All Properties mit Exact, um unverändert doppelt kopierte Zeilen zu finden. Verwende Selected Properties, wenn ein bestimmtes Feld, etwa eine externe ID, identisch sein muss.

Bei der Beispieldatei mit 1.000 Zeilen liefert dieser Durchlauf fünf Duplikatgruppen. Jede Gruppe enthält zwei Zeilen mit identischen Werten in allen Eigenschaften.

Exact ist der sicherste erste Durchlauf, da jede gefundene Übereinstimmung einen strikten Vergleich erfüllt. Acme Inc. und Acme, unterschiedlich formatierte Telefonnummern oder E-Mail-Aliasse werden damit nicht erkannt, wenn ihre gespeicherten Werte voneinander abweichen.

Besucher ohne Account können eine Exact-Duplikatsprüfung ausführen. Mit einem kostenlosen Account erhältst Du zusätzlich Smart Comparison und die weiteren Funktionen des Free-Plans.

Smart Matching für Geschäftsdaten nutzen

Smart Matching standardisiert Werte für den Vergleich, ohne die gespeicherten Zellen umzuschreiben. Wähle einen Prozessor, der zur jeweiligen Eigenschaft passt:

• Email berücksichtigt Groß- und Kleinschreibung, umgebende Leerzeichen, Plus-Aliasse, Gmail-Punkte, googlemail.com, Display-Name-Wrapper und mailto:-Werte.
• URL kann Protokolle und einen abschließenden Schrägstrich ignorieren. Optional lassen sich Subdomains, Pfade und Query-Parameter steuern.
• Phone ignoriert Formatierungszeichen. Der Prozessor validiert keine Nummern, verwendet keine Country-Eigenschaft und ergänzt keinen fehlenden Ländercode.
• Company Name entfernt gängige Rechtsform-, Geschäfts- und geografische Begriffe.
• Text ignoriert Akzente, Leerzeichen, Satzzeichen, Symbole, Groß- und Kleinschreibung sowie die Wortreihenfolge.

Der Company Name-Prozessor, Multi-Value Matching und erweiterte Algorithmen setzen einen kostenpflichtigen Plan voraus. Exact und Smart sind im Free-Plan für das Matching innerhalb einer Collection verfügbar, wobei Smart einen kostenlosen Account erfordert.

Wenn eine Zelle mehrere durch Semikolon getrennte Identifikatoren enthält, aktiviere Multiple Values. Datablist vergleicht die einzelnen Bestandteile und wertet die Eigenschaft als Übereinstimmung, sobald mindestens ein Wertepaar übereinstimmt. So kann eine Zelle mit primary@example.com;shared@example.com zu einer zweiten Zelle mit shared@example.com passen.

In der eigens dafür erstellten Beispieldatei mit 200 Zeilen ergab diese Konfiguration 60 Gruppen mit jeweils zwei Zeilen. Die Validierung anhand der Referenzdaten fand alle 60 vorgesehenen Paare und schloss sämtliche 80 Kontrolldatensätze aus. Im Workflow zur Deduplizierung von Multi-Value-Feldern findest Du die Beispieldatei, die Ergebnis-CSV und Hinweise zu Merge-Entscheidungen.

Dieser E-Mail-Durchlauf lieferte 105 Gruppen mit jeweils zwei Zeilen: 100 gezielt erstellte Paare für die E-Mail-Normalisierung sowie die fünf exakten Kopien, die ebenfalls dieselbe E-Mail-Adresse enthalten.

Telefonnummern vor dem Matching normalisieren

Der Smart Phone-Prozessor eignet sich für einen klar begrenzten Fall: Werte mit denselben Ziffern, aber unterschiedlichen Leerzeichen, Klammern, Bindestrichen oder Symbolen. So kann er (415) 555-0123 mit 4155550123 abgleichen.

Er kann jedoch nicht erkennen, dass eine lokale und eine internationale Nummer identisch sind. Beispielsweise benötigen 06 12 34 50 08 und +33 6 12 34 50 08 vor dem Vergleich einen Länderkontext.

Nutze vor einer telefonnummernbasierten Deduplizierung den Phone Number Cleaner:

1. Ordne die unveränderte Eigenschaft Phone zu.
2. Wähle bei einer Liste aus nur einem Land das Land unter Local Phone Countries aus. Aktiviere bei einer gemischten Liste Define country per item und ordne die Eigenschaft Country zu.
3. Schreibe das Enrichment-Ergebnis in Clean Phone Number, ohne den ursprünglichen Wert zu überschreiben.
4. Prüfe fehlgeschlagene oder leere Ausgaben. Sie sollten nicht am telefonnummernbasierten Matching teilnehmen.
5. Führe den Duplicates Finder für Clean Phone Number mit Exact aus.

Beispieldatei mit 200 Telefonnummern herunterladen. Sie enthält 50 lokale und internationale Paare aus den USA, Frankreich, Großbritannien, Deutschland und Spanien sowie 100 nicht übereinstimmende Kontrolldatensätze. Die Validierung mit der produktiven Cleaner-Logik lieferte für alle 200 Zeilen jeweils eine normalisierte Telefonnummer. Die 50 vorgesehenen Paare ergeben 50 gemeinsame internationale Werte; die Kontrolldatensätze bleiben eindeutig.

Dieser Vorbereitungsschritt validiert außerdem das Telefonnummernformat. Behalte die ursprünglichen Eigenschaften Phone und Country neben dem bereinigten Ergebnis, damit Du jeden Datensatz vor dem Merge prüfen kannst. Unter Was Telefonnummern-Normalisierung bedeutet erfährst Du mehr über Ländercodes und internationale Werte.

Führe für Unternehmensdatensätze einen separaten Durchlauf mit Website aus. Wähle Smart mit dem URL-Prozessor. Aktiviere Ignore Subdomain, Ignore Path und Ignore Query Params nur, wenn diese URL-Bestandteile kein anderes Unternehmen und keinen anderen Standort kennzeichnen sollen.

Bei derselben Beispieldatei mit 1.000 Zeilen lieferte diese Konfiguration 200 Gruppen mit jeweils zwei Zeilen. 50 Paare enthalten gezielt erstellte URL-Varianten, während 150 Paare bereits dieselbe Website haben. In diesem Test ließen sich alle exportierten Paare demselben normalisierten Host zuordnen.

Lade die 200 Website-Duplikatgruppen herunter oder sieh Dir den Workflow zur Deduplizierung von Unternehmen an, um eine Domain-first-Strategie kennenzulernen.

Fuzzy oder phonetisches Matching zur Kontrolle nutzen

Metaphone vergleicht, wie Texte klingen. Jaro-Winkler und Levenshtein berechnen einen Ähnlichkeitswert und helfen dadurch, Schreibabweichungen wie Uma Turner und Uman Turner zu finden.

Fuzzy Matches sind Kandidaten und keine bestätigten Duplikate. Beginne mit einem hohen Schwellenwert, prüfe die schwächsten Gruppen und senke den Ergebnisschwellenwert nur, solange die Prüfung präzise bleibt.

Wähle für einen messbaren Fuzzy-Durchlauf Full Name, anschließend Distance mit Levenshtein, behalte den Text-Prozessor bei und setze den Schwellenwert auf 90 %.

Diese Prüfung lieferte 77 Gruppen mit jeweils zwei Zeilen aus der Beispieldatei mit 1.000 Zeilen. Die Validierung anhand der Referenzdaten fand 21 Gruppen, die dieselbe vorgesehene Entität verbinden, und 56 Gruppen mit unterschiedlichen Entitäten. Bei den meisten False Positives handelte es sich um abgekürzte Namen wie G. Rossi, bei denen Full Name allein nicht ausreicht, um zwei Personen zu unterscheiden.

Der Durchlauf findet beabsichtigte Schreibvarianten wie Uma A. Turner und Uman A. Turner, zeigt aber auch, warum Fuzzy Matches allein anhand des Namens geprüft werden müssen.

Lade die 77 exportierten Levenshtein-Gruppen herunter, um sowohl sinnvolle Treffer als auch False Positives zu prüfen.

Wähle für phonetisches Matching Full Name, anschließend Metaphone und behalte den Text-Prozessor bei.

Dieser Durchlauf zeigte 69 Gruppen an: 5 Ready und 64 Needs review. Die exportierten Gruppen umfassen 188 Zeilen. Die Validierung anhand der bekannten Entitäten der Beispieldatei ergab 19 reine Gruppen derselben Entität und 50 Gruppen, in denen unterschiedliche Personen vermischt wurden. Die Gruppengröße reicht von zwei bis sieben Zeilen.

Why matched bestätigt die Eigenschaft Full Name, den Metaphone-Algorithmus, den Text-Prozessor und den Gruppen-Score. Nutze diese Details zur Prüfung des Vergleichs, nicht als Ersatz für eine Identitätskontrolle.

Lade die 69 exportierten Metaphone-Gruppen herunter, um sinnvolle phonetische Treffer und False Positives zu untersuchen. Die größeren False-Positive-Gruppen kombinieren häufig Initialen mit einem gängigen Nachnamen, etwa mehrere abgekürzte Rossi-Namen. Ihre phonetischen Codes überschneiden sich, doch die Namen allein bieten nicht genügend Identitätsnachweise für einen automatischen Merge.

Die Ergebnisseite bietet zwei Einstellungen:

• Include matches from legt fest, welche Gruppen angezeigt werden.
• Process automatically from belässt Gruppen mit geringerer Sicherheit in Needs review und schließt sie von der Stapelverarbeitung aus.

Dank dieser Trennung kannst Du eine breite Auswahl an Kandidaten prüfen, ohne dieselbe Automatisierungsregel auf alle anzuwenden.

Duplikatgruppen prüfen

Der Ergebnisbereich unterteilt Duplikatgruppen in Ready und Needs review.

• Ready-Gruppen haben ein konkretes Verarbeitungsergebnis und erfüllen den automatischen Sicherheitsschwellenwert.
• Needs-review-Gruppen haben eine geringere Sicherheit, ungelöste Merge-Konflikte, eine nicht passende Regel zur Datensatzauswahl oder eine benutzerdefinierte Regel, die sie übersprungen hat.

Prüfe bei jeder unsicheren Gruppe:

• Steht jede Zeile für dieselbe Person, dasselbe Unternehmen oder dasselbe Produkt?
• Welcher Identifikator hat die Übereinstimmung ausgelöst?
• Ergänzen sich bestimmte Werte?
• Welche Quelle ist maßgeblich?
• Würde beim Entfernen einer Zeile eine Telefonnummer, ID, ein Status, Datum oder eine Notiz verloren gehen?
• Ist die Gruppe über einen schwachen dritten Datensatz verbunden?

Mit Why matched kannst Du Matching-Eigenschaften, Algorithmen, Prozessoren und Score-Bereiche prüfen. Bei Fuzzy-Prüfungen entspricht die Gruppenähnlichkeit der schwächsten beibehaltenen Verbindung, die erforderlich ist, um die Gruppe zusammenzuhalten.

Du kannst außerdem:

• Einen Treffer mit geringer Sicherheit bestätigen.
• Einen Datensatz aus einer Gruppe entfernen, ohne ihn zu löschen.
• Die Gruppe überspringen.
• Einen Datensatz öffnen und bearbeiten.
• Die Gruppe im Merging Assistant prüfen.
• Alle verbleibenden Gruppen durchsuchen und die riskantesten Kandidaten zuerst anzeigen.

⚠️ Verarbeite eine Fuzzy-Gruppe nicht nur anhand des Prozentwerts

Ähnliche Namen können zu unterschiedlichen Personen gehören. Prüfe die Identifikatoren und die übrigen Felder, bevor Du eine Gruppe bestätigst.

Gemeinsame und fehlende Identifikatoren vor dem Merge prüfen

Ein gemeinsames Postfach wie info@company.example kann mehreren Kontakten gehören. Zwei Personen mit dieser Adresse stimmen möglicherweise bei Email überein und sind trotzdem unterschiedliche Personen. Ebenso kann eine Unternehmensdomain ein einziges Unternehmen identifizieren, aber in vielen Mitarbeiterdatensätzen vorkommen.

Ich würde solche Gruppen nicht automatisch auf Personenebene zusammenführen, solange kein weiterer Identifikator die Übereinstimmung stützt. Wenn Dein Ziel dagegen eine Zeile pro Unternehmen ist, kann die gemeinsame Domain genau der gewünschte Gruppierungsschlüssel sein. Definiere die Entität, bevor Du das Ergebnis interpretierst.

Auch die Regel für leere Werte verändert einen Vergleich ausgewählter Eigenschaften. Bei einer Prüfung mehrerer Eigenschaften mit einem Nicht-Exact-Vergleich bietet die erweiterte Einstellung Empty Value Rule die Optionen Value required (default) und Match on empty value. Standardmäßig muss der Text-Identifikator vorhanden sein; wenn Du Übereinstimmungen leerer Werte zulässt, wird diese Anforderung gelockert. Nutze diese Option nur, wenn die anderen Matching-Felder genügend Identitätsnachweise liefern. Zwei fehlende E-Mail-Adressen sind kein Beleg dafür, dass es sich um dieselbe Person handelt.

Zwei Zeilen mit leerem Email-Feld und unterschiedlichen Full Name-Werten sollten beispielsweise nicht allein deshalb zusammengeführt werden, um die Zeilenzahl zu reduzieren. Eine Zeile ohne E-Mail-Adresse kann immer noch einen Kontakt enthalten, den Du behalten oder später anreichern möchtest.

Duplikate entfernen, zusammenführen oder individuell verarbeiten

Duplikate zu finden und sie aufzulösen sind zwei getrennte Entscheidungen. Wähle den Verarbeitungsmodus erst, nachdem Du geprüft hast, welche Inhalte die zusätzlichen Zeilen enthalten.

Duplikate entfernen, wenn eine Zeile maßgeblich ist

Remove duplicates behält einen ausgewählten Datensatz unverändert bei und löscht die übrigen Zeilen jeder Ready-Gruppe.

Nutze diese Option für kopierte Zeilen, temporäre Importe oder Datensätze, deren zusätzliche Werte verworfen werden können. Die Vorschau warnt Dich, wenn die zu entfernenden Datensätze zusätzliche oder widersprüchliche Informationen enthalten. Diese Werte werden nicht in die beibehaltene Zeile übernommen.

Zeilen mit nützlichen Daten zusammenführen

Merge and preserve data füllt leere Eigenschaften im ausgewählten Datensatz, löst konfigurierte Konflikte und löscht anschließend die zusätzlichen Zeilen.

Beginne mit der Regel Record to keep. Most Complete ist die Standardeinstellung. In kostenpflichtigen Plänen kannst Du Regeln auf Basis des Erstellungs- oder Aktualisierungszeitpunkts, des höchsten oder niedrigsten Eigenschaftswerts oder eines erforderlichen Eigenschaftswerts auswählen.

Lege anschließend fest, wie jeder widersprüchliche Eigenschaftswert erhalten bleiben soll:

• Kombiniere unterschiedliche Textwerte mit einem Trennzeichen.
• Behalte den Wert des ausgewählten Datensatzes.
• In kostenpflichtigen Plänen kannst Du Werte unabhängig voneinander nach Regeln wie neuester, ältester, längster, kürzester, höchster, niedrigster oder häufigster Wert auswählen.

Nutze Regeln auf Feldebene, wenn keine einzelne Zeile für jede Eigenschaft den besten Wert enthält. So kannst Du die ID des ausgewählten Datensatzes beibehalten und zugleich einen neueren Jobtitel, einen längeren Firmennamen und den häufigsten Status aus anderen Zeilen übernehmen.

Aktualisiere die Vorschau, nachdem Du den Schwellenwert, Workflow, die Gruppenzugehörigkeit, Konflikteinstellungen oder die Regel zur Datensatzauswahl geändert hast.

Custom with AI für gruppenspezifische Regeln nutzen

Custom with AI erstellt aus einer natürlichsprachlichen Anweisung einen Workflow zur Gruppenverarbeitung. Er kann einen Datensatz auswählen, Werte kopieren oder normalisieren, eine Status-Eigenschaft hinzufügen, eine Gruppensumme berechnen, zusätzliche Zeilen löschen oder Gruppen überspringen, die eine Bedingung nicht erfüllen.

Zum Beispiel:

Behalte den Datensatz, dessen Source „CRM export“ ist. Kopiere den Job Title aus dem neuesten Datensatz, kombiniere unterschiedliche Notes mit Zeilenumbrüchen, füge eine Checkbox „Duplicate Reviewed“ hinzu und lösche anschließend die zusätzlichen Datensätze.

Verweise mit /Property oder {{Property}} auf Eigenschaften der Collection. Generiere den Workflow und prüfe die Vorschau, bevor Du ihn ausführst. Custom with AI steht angemeldeten Nutzern mit einem kostenpflichtigen Plan zur Verfügung.

Öffne bei einzelnen Ausnahmen Review group und nutze den Merging Assistant, statt die Regel für die Stapelverarbeitung unnötig zu verkomplizieren.

Bereinigte Liste validieren und exportieren

Prüfe vor der Verarbeitung der Ready-Gruppen:

• Die Vorschau entspricht den aktuellen Einstellungen.
• Gruppen mit geringer Sicherheit oder gemeinsamen Identifikatoren wurden geprüft.
• Der ausgewählte Datensatz enthält die ID, die Du behalten möchtest.
• Eindeutige Werte für Telefonnummer, Quelle, Notiz und Status bleiben erhalten.
• Felder, die nur einen Wert enthalten dürfen, werden nicht verkettet.
• Die angezeigte Anzahl der Ready-Gruppen entspricht dem gewünschten Verarbeitungsumfang.

Gleiche nach der Verarbeitung die Zeilenzahl ab:

Ausgangszeilen - gelöschte zusätzliche Zeilen = endgültige Zeilen

Beim Exact-Durchlauf in diesem Guide hat Datablist fünf Gruppen mit jeweils zwei Zeilen zusammengeführt. Dadurch sank die Zahl der Items in der Collection von 1.000 auf 995.

Lade die Duplikatgruppen vor der Verarbeitung herunter, wenn Du eine externe Prüfdatei benötigst. Kostenpflichtige Pläne enthalten nutzbare IDs für Duplikatgruppen und das Änderungsprotokoll nach der Verarbeitung. Das Protokoll erfasst gelöschte und aktualisierte Datablist-IDs samt vorherigen Werten und Zielwerten.

Automatische Remove- und Merge-Aktionen erscheinen außerdem in der History der Collection und lassen sich dort rückgängig machen.

Kehre zur Collection zurück und öffne Export, um die bereinigte CSV- oder Excel-Datei herunterzuladen.

Mehrere Listen deduplizieren

Nutze Collection-übergreifendes Matching, wenn eine neue Lead-Datei mit einem CRM-Export abgeglichen werden soll. Verwende das CRM als Referenzliste und entferne dessen Treffer vor dem Import aus der neuen Liste.

Lade die CRM-Demodatei und die Event-Demodatei herunter, um diesen Workflow zu testen. Die beiden Dateien haben unterschiedliche Spaltenüberschriften und enthalten 100 gezielt erstellte E-Mail-Überschneidungen. Beide Dateien beginnen mit jeweils 250 Zeilen.

Importiere jede Datei in eine eigene Collection und öffne anschließend Clean > Match across collections. Füge beide Collections hinzu und ordne einander entsprechende Eigenschaften zu, beispielsweise Email und Attendee Email.

In diesem Test lieferte Smart Matching mit dem Email-Prozessor 100 Collection-übergreifende Gruppen aus 500 geprüften Datensätzen. Wähle unter Remove duplicate items from collection {X} die Collection Event Registrations, damit das CRM unverändert bleibt und dessen Treffer aus der Event-Liste entfernt werden.

Die automatische Collection-übergreifende Bereinigung entfernt Zeilen. Sie führt keine eindeutigen Event-Werte mit dem CRM zusammen. Exportiere oder prüfe die Gruppen zuerst, wenn die eingehenden Datensätze Informationen enthalten, die Du behalten möchtest.

Nach der Verarbeitung der 100 Überschneidungen enthält Event Registrations noch 150 neue Kontakte.

Collection-übergreifendes Matching ist eine Premium-Funktion. Im ausführlichen Guide erfährst Du, wie Du mehrere CSV- oder Excel-Dateien deduplizierst, Collections zuordnest und Verarbeitungsoptionen festlegst.

FAQ

Kann ich eine Liste kostenlos online deduplizieren?

Ja. Besucher ohne Account können eine Exact-Prüfung ausführen. Ein kostenloser Account schaltet Smart Matching und die weiteren Funktionen des Free-Plans für einzelne Collections frei. Fuzzy und phonetische Algorithmen, erweiterte Prozessoren, Collection-übergreifendes Matching, konfigurierbare Survivorship-Regeln und Custom with AI erfordern einen kostenpflichtigen Plan.

Sollte ich doppelte Zeilen entfernen oder zusammenführen?

Entferne Zeilen, wenn ein Datensatz maßgeblich ist und die übrigen keine benötigten Informationen enthalten. Führe sie zusammen, wenn zusätzliche Zeilen nützliche Werte enthalten. Die Remove-Vorschau warnt Dich, wenn Daten verworfen würden.

Erkennt Datablist Duplikate mit Tippfehlern?

Ja. Jaro-Winkler und Levenshtein vergleichen die Textähnlichkeit, während Metaphone den Klang von Texten vergleicht. Diese erweiterten Algorithmen erfordern einen kostenpflichtigen Plan, und ihre Treffer sollten geprüft werden.

Kann ich doppelte Zeilen ohne Datenverlust zusammenführen?

Datablist kann leere Felder füllen, Textwerte kombinieren, den Wert des ausgewählten Datensatzes beibehalten oder Survivorship-Regeln auf Feldebene anwenden. Prüfe die Vorschau, denn jeder verworfene Wert fehlt anschließend im zusammengeführten Datensatz.

Wie groß darf die Liste sein?

Der Free-Plan unterstützt im Browser-Speicher bis zu 1 Million Items pro Collection. Kostenpflichtige Pläne erlauben Importe mit bis zu 2 Millionen Items pro Collection. Große lokale Vorgänge hängen weiterhin vom Browser und Gerät ab.

Kann ich Duplikate prüfen, ohne die Liste zu verändern?

Ja. Die Erkennung verändert keine Daten. Du kannst Gruppen prüfen, Schwellenwerte anpassen, Why matched verwenden, Ergebnisse durchsuchen und sortieren sowie doppelte Zeilen herunterladen, bevor Du eine Verarbeitungsaktion startest.

Alle Einstellungen und Einschränkungen findest Du in der vollständigen Duplicate Finder-Dokumentation.