Nutze ein Data-Matching-Tool, wenn zwei Listen dieselben Personen oder Unternehmen unter leicht unterschiedlichen Namen enthalten könnten. In Datablist importierst Du die Listen in Collections, ordnest die zu vergleichenden Spalten einander zu, wählst einen Matching-Algorithmus und prüfst die vorgeschlagenen Gruppen, bevor Du sie zusammenführst oder exportierst. Beginne mit einer eindeutigen Kennung wie einer E-Mail-Adresse oder Unternehmensdomain. Nutze unscharfes Namens-Matching nur, wenn keine stabile Kennung vorhanden ist, und gleiche die Ergebnisse mit einem zweiten Feld ab.
Eine Lead-Liste kann zum Beispiel Acme Ltd mit der Domain acme.com enthalten, während in einer anderen ACME mit derselben Domain steht. Die übereinstimmende Domain ist ein stärkeres Indiz für einen Zusammenhang zwischen diesen Zeilen als lediglich ähnliche Namen. Der Duplicates Finder von Datablist kann Datensätze innerhalb einer Collection oder über mehrere Collections hinweg vergleichen und anschließend Gruppen zur Prüfung anzeigen. Erweiterte phonetische und Fuzzy-Matching-Algorithmen sind in den kostenpflichtigen Tarifen verfügbar.
Hier findest Du eine kurze Übersicht der Data-Matching-Themen in diesem Artikel:
- Datensätze importieren
- Daten bereinigen und normalisieren
- Datensätze innerhalb oder über mehrere Collections abgleichen
- Duplikate entfernen oder zusammenführen
Prüfe Treffer vor dem Zusammenführen. Ähnliche Namen können unterschiedliche Personen oder Unternehmen bezeichnen – besonders, wenn sie kurz oder abgekürzt sind.
Schritt 1: Datensätze importieren
Im ersten Schritt importierst Du Deine Datensätze in Datablist. Datablist ist ein Online-Tool für die Listenverwaltung. Damit kannst Du CSV-Dateien anzeigen und bearbeiten, ebenso wie Excel-Dateien. Das Tool eignet sich ideal, um Lead-Listen zu verwalten, Kundendaten zu bereinigen oder gescrapte Daten zu bereinigen.
Erstelle zunächst eine Collection, um Deinen ersten Datensatz zu importieren.
Klicke anschließend auf den Button Import.
Nach dem Import Deines ersten Datensatzes hast Du zwei Möglichkeiten:
- Importiere weitere Datensätze mit einer gemeinsamen Datenstruktur in dieselbe Collection.
- Importiere Datensätze mit unterschiedlichen Datenstrukturen in neue Collections.
Der Duplicates Finder von Datablist findet übereinstimmende Datensätze innerhalb einer einzelnen Collection oder über Collections mit unterschiedlichen Datenstrukturen hinweg.
Schritt 2: Daten bereinigen und normalisieren
Der zweite Schritt ist die Datenbereinigung. Saubere Daten sind eine wichtige Voraussetzung für zuverlässiges Data Matching. Sie gewährleisten die Genauigkeit und Verlässlichkeit des Abgleichs. Fehlerhafte oder unsaubere Daten können dagegen zu falschen Treffern und unzuverlässigen Ergebnissen führen. Kurz gesagt: Datenbereinigung schafft die Grundlage für erfolgreiches Data Matching.
Tauchen solche Störelemente in Personen- oder Unternehmensnamen auf, liefern sie keinen Mehrwert, können den Deduplizierungsalgorithmus aber daran hindern, Duplikate zu erkennen.
Datablist bietet verschiedene integrierte Tools zur Datenbereinigung:
- Symbole und Satzzeichen entfernen – Gescrapte Texte können Smileys und ASCII-Zeichen oder Namen mit Satzzeichen enthalten. Der Matching-Algorithmus von Datablist ignoriert sie beim Datenabgleich, sie verhindern jedoch möglicherweise das automatische Zusammenführen während der Deduplizierung.
- Überflüssige Leerzeichen entfernen – Schon ein zusätzliches Leerzeichen zwischen Wörtern reicht aus, damit zwei Zeichenfolgen voneinander abweichen. Die Matching-Algorithmen von Datablist entfernen überflüssige Leerzeichen bei der Vorverarbeitung. Beim automatischen Zusammenführen während der Deduplizierung können sie dennoch Probleme verursachen.
- E-Mail-Adressen, URLs usw. aus Texten extrahieren – Enthalten Deine Daten unstrukturierte Texte mit E-Mail-Adressen, URLs, Erwähnungen, Tags oder Ähnlichem, kannst Du diese Elemente mit unserem Data Extractor extrahieren und Deine Daten strukturieren. Strukturierte Elemente machen den Data-Matching-Prozess deutlich einfacher.
- HTML-Tags entfernen – Eine weitere Bereinigungsfunktion wandelt Zeichenfolgen mit HTML-Tags in Klartext um. So kannst Du gescrapte Listen mit HTML-Tags gegen andere Datensätze abgleichen.
- Text in DateTime, Number, Boolean usw. umwandeln – Datablist bietet echte Datenstrukturen mit integrierten Formaten wie DateTime, Number und Boolean. Ein wichtiger Schritt bei der Datenbereinigung besteht darin, Rohtext in ein natives Format umzuwandeln. Native Datums-, Zahlen- und andere Formate sind entscheidend für erweiterte Zusammenführungsregeln, wenn ein Haupteintrag anhand eines Wertevergleichs ausgewählt werden soll, zum Beispiel nach dem neuesten Datum.
- Groß- und Kleinschreibung vereinheitlichen – Die Anpassung der Groß- und Kleinschreibung ist einfach, aber notwendig. Datablist enthält mehrere integrierte Algorithmen zur Änderung der Groß- und Kleinschreibung).
- Eigenschaften aufteilen oder zusammenführen – Diese Funktion eignet sich ideal für Datenfelder mit mehreren Werten. Enthält eine Eigenschaft mehrere, durch Kommas, Semikolons oder Leerzeichen getrennte E-Mail-Adressen, erstellt das Split Property Tool von Datablist mehrere Eigenschaften mit jeweils einer einzelnen E-Mail-Adresse.
- Leere Werte entfernen oder ersetzen – Nutze die Filterfunktionen von Datablist, um leere Werte oder Zeilen zu filtern.
Weitere Beispiele und Anleitungen findest Du in unserem Guide zur Datenbereinigung.
Personennamen normalisieren
Bei der Deduplizierung von Daten arbeitest Du häufig mit personenbezogenen Datensätzen. Kunden-, Lead- und Interessentendaten sind typische Beispiele für Personenlisten. Im Idealfall basiert das Data Matching solcher Datensätze auf eindeutigen Kennungen wie E-Mail-Adressen oder Identifikationsnummern. Fehlen solche Kennungen oder möchtest Du Personen über verschiedene Datensätze hinweg abgleichen, musst Du ihre Namen für den Data-Matching-Prozess verwenden.
Durch die Vorverarbeitung von Personennamen bringst Du alle Namen in ein einheitliches Format und reduzierst Fehler bei der Deduplizierung.
Störelemente aus Namen entfernen
Personennamen können sehr unterschiedlich geschrieben sein. Spitznamen, Abkürzungen, alternative Schreibweisen und Sonderzeichen sind häufige Varianten.
Mit dem leistungsstarken Find & Replace Tool kannst Du Präfixe, Suffixe, Stoppwörter, regionale Zusätze und andere überflüssige Begriffe entfernen.
Um beispielsweise Anreden und Titel zu entfernen, kannst Du diesen regulären Ausdruck verwenden:
^\s*(mr|mrs|dr|miss|ms|sir|madam|m).?\s
Ersetze die Treffer durch eine leere Zeichenfolge.
Hinweis Wenn Du Dich mit regulären Ausdrücken nicht auskennst, kontaktiere uns einfach. Wir helfen Dir bei der Bereinigung Deiner Daten.
Vollständige Namen in Bestandteile aufteilen
Datablist ist mehr als ein Tool zur Datenbereinigung und bietet auch Data Enrichment. Beispiele dafür sind Lead Enrichments oder CSV-Übersetzungen mit DeepL.
Der Name Parser ist das ideale Enrichment zur Bereinigung von Personennamen. Er zerlegt einen vollständigen Namen in Vorname, zweiter Vorname und Nachname. Außerdem gibt er das für den Namen wahrscheinlichste Geschlecht und Land zurück.
Zur Aufteilung vollständiger Namen nutzt er statistische Daten.
Öffne dazu über die oberen Buttons das „Enrich Menu“.
Wähle anschließend „Name Parser“ aus.
Wähle nun die Eigenschaft mit den Namen aus. Ordne anschließend vorhandene Eigenschaften zu oder erstelle neue, in denen die Ergebnisse gespeichert werden. Die Eigenschaft mit dem vollständigen Namen wird nicht verändert. Nur die Ausgabeeigenschaften werden mit den Ergebnissen befüllt.
Unternehmensnamen normalisieren
Auch aus Unternehmensnamen kannst Du Störelemente entfernen, etwa Präfixe, Suffixe, Stoppwörter, regionale Zusätze oder andere Bestandteile, die einen zuverlässigen Abgleich verhindern.
Ein typisches Beispiel ist das Entfernen von Rechtsformzusätzen wie „Inc.“ oder „GmbH“.
Verwende dazu diesen regulären Ausdruck im Find & Replace Tool:
,?\s(llc|inc|incorporated|corporation|corp|co|gmbh|ltd).?$
Ersetze die Treffer durch eine leere Zeichenfolge.
Es ist wichtig, Unternehmensnamen und Adressen in allen Datensätzen zu normalisieren und in ein einheitliches Format zu bringen.
Straßennamen normalisieren
Wenn Du postalische Adressen abgleichst, ist die Normalisierung von Straßennamen entscheidend. Adressen können Abkürzungen, Richtungsangaben oder Ordnungszahlen enthalten. Ohne Normalisierung kann dieselbe Straße in mehreren Schreibweisen vorkommen, was das Data Matching erheblich erschwert.
Zum Beispiel bezeichnen Main 9 St, Main 9TH St. und Main 9th Street dieselbe Straße. Das gilt auch für Washington Blvd und Washington Boulevard.
Fuzzy-Algorithmen sind für solche Unterschiede ineffizient. Zwischen Washington Blvd und Washington Boulevard sind mehrere Zeichenänderungen erforderlich. Dadurch fällt die mit Fuzzy-Matching-Algorithmen berechnete Distanz hoch aus.
Besser ist es, unterschiedliche Straßenschreibweisen zu normalisieren. Ein einheitliches Format sorgt für konsistente Daten.
Datablist bietet eine Normalisierung für englische Straßennamen. Dabei werden unter anderem Abkürzungen und Hausnummern vereinheitlicht.
Hinweis
Die Normalisierung von Straßennamen funktioniert mit aufgeteilten Adressen. Der Straßenname muss in einer eigenen Eigenschaft stehen. Vollständige Adressen können nicht verarbeitet werden.
Klicke im „Clean“-Menü auf „Normalize Street Names“.
Wähle anschließend die Eigenschaft mit den Straßennamen und dann „Normalize english street names“ aus.
Prüfe die Änderungen in der Vorschau und klicke auf „Run“.
Schritt 3: Datensätze innerhalb oder über mehrere Collections abgleichen
Nachdem Deine Daten bereinigt und normalisiert sind, kannst Du mit dem eigentlichen Data Matching beginnen. In diesem Schritt werden ähnliche Datensätze gruppiert.
Datablist bietet drei Startmodi:
- Selected Properties vergleicht die von Dir ausgewählten Felder innerhalb einer Collection.
- All Properties vergleicht vollständige Datensätze innerhalb einer Collection.
- Match across collections ordnet Eigenschaften aus mehreren Collections einander zu und vergleicht sie.
Ordne bei zwei Lead-Dateien mit den Feldern Email und Company zuerst die E-Mail-Eigenschaften einander zu. Fehlen E-Mail-Adressen, vergleiche die Unternehmensnamen und ergänze nach Möglichkeit ein Feld für die Website oder den Standort. Das Ergebnis besteht aus potenziell übereinstimmenden Gruppen und ist keine garantiert bereinigte Liste. Öffne einige Gruppen und prüfe die Ursprungswerte, bevor Du Datensätze zusammenführst.
Eigenschaften für den Abgleich auswählen
Für den restlichen Guide verwendest Du Match across collections.
Im nächsten Schritt wählst Du die Eigenschaften aus, die für das Data Matching verwendet werden sollen. Hast Du zuvor mehrere Collections ausgewählt, musst Du für jede Collection eine passende Zuordnungseigenschaft festlegen.
Hinweis
Datablist versucht, Eigenschaften anhand ihrer Namen automatisch über mehrere Collections hinweg zuzuordnen.
Matching-Algorithmus auswählen
Im nächsten Schritt werden die ausgewählten Eigenschaften aufgeführt. Nun musst Du die Vergleichsalgorithmen konfigurieren.
Datablist unterstützt folgende Matching-Algorithmen:
-
Exact – Der Exact-Algorithmus wird für Eigenschaften empfohlen, die keine Texte enthalten, etwa DateTime, Number oder Boolean. Bei Texteigenschaften kannst Du festlegen, ob der Vergleich die Schreibweise berücksichtigen soll. Außerdem entfernt der Exact-Algorithmus Leerzeichen am Anfang und Ende von Texten.
-
Smart – Der Smart-Algorithmus bereitet Deine Einträge vor, um Daten mit kleinen Abweichungen abzugleichen. Er erkennt URLs trotz unterschiedlicher Protokolle und berücksichtigt außerdem Wortreihenfolge und Satzzeichen. „John-Doe“ und „Doe John“ werden beispielsweise als Treffer erkannt.
-
Phonetic with Double Metaphone algorithm – Datablist nutzt den Double-Metaphone-Algorithmus für phonetisches Matching. Dieser Algorithmus wandelt Wörter in Codes um, die ihre Aussprache repräsentieren. Ähnlich klingende Wörter erhalten denselben Double-Metaphone-Code.
-
Fuzzy matching with distance algorithms – Datablist unterstützt auch Fuzzy Matching mit den Distanzmaßen Jaro-Winkler und Levenshtein. Bei der Auswahl musst Du einen Ähnlichkeitsschwellenwert festlegen. Je höher der Schwellenwert, desto weniger Abweichungen sind erlaubt.
Weitere Informationen zu den Matching-Algorithmen findest Du in unserer Dokumentation.
In der Deduplizierungsstichprobe mit 1.000 Zeilen lieferte diese Konfiguration für Full Name 77 Gruppen mit jeweils zwei Zeilen. Die Validierung anhand der Referenzdaten ergab 21 Gruppen für dieselbe vorgesehene Entität und 56 Gruppen, in denen unterschiedliche Entitäten zusammengeführt wurden. Bei den meisten False Positives handelte es sich um kurze, identische Abkürzungen wie G. Rossi.
Nutze eine zweite Kennung wie E-Mail-Adresse, Telefonnummer, Unternehmen oder Website, bevor Du mehrdeutige Namenstreffer verarbeitest. Lade die 77 exportierten Gruppen herunter, um das Ergebnis zu prüfen.
In derselben Stichprobe entstanden 69 Gruppen mit insgesamt 188 gruppierten Zeilen, als für Full Name Metaphone mit dem Text Processor verwendet wurde. Die Validierung anhand der Referenzdaten ergab 19 reine Gruppen derselben Entität und 50 Gruppen, in denen unterschiedliche Personen vermischt wurden.
Das Ergebnis enthielt große Gruppen abgekürzter Namen mit demselben Nachnamen. Phonetische Ähnlichkeit eignet sich gut, um mögliche Treffer zu finden, beweist aber nicht, dass zwei Zeilen zur selben Person gehören.
Lade die 69 exportierten Metaphone-Gruppen herunter, um die Gruppen mit zwei bis sieben Zeilen zu prüfen und sinnvolle Treffer mit den False Positives zu vergleichen.
Hinweis
- Smart-, Phonetic- und Fuzzy-Algorithmen lassen sich nur auf textbasierte Eigenschaften anwenden, darunter Email, Text und LongText.
- URL-Eigenschaften sind nur mit den Algorithmen Exact und Smart kompatibel.
Schritt 4: Duplikate entfernen oder zusammenführen
Der Duplicates Finder von Datablist gibt übereinstimmende Gruppen zur Prüfung aus. Auf der Ergebnisseite siehst Du, warum Zeilen als Treffer eingestuft wurden. Außerdem werden Ready-Gruppen von Kandidaten getrennt, die noch geprüft werden müssen.
Automatisches Zusammenführen in einer einzelnen Collection
Wähle für eine einzelne Collection Merge and preserve data aus. Datablist füllt leere Eigenschaften und wendet Deine Konfliktregeln sowie Deine Regeln für Record to keep an.
Hinweis:
Diese Funktion ist nur für die Deduplizierung einer einzelnen Collection verfügbar. Bei der Deduplizierung mehrerer Collections können sich deren Datenstrukturen unterscheiden.
Automatisch ohne Datenkonflikte zusammenführen
Datablist markiert eine Gruppe als Ready, wenn das Zusammenführen zu einem eindeutigen Ergebnis führt und keine ungeklärten Anforderungen bestehen.
Das funktioniert folgendermaßen:
- Haben alle doppelten Einträge dieselben Eigenschaftswerte, wird nur ein Eintrag behalten. Die übrigen werden gelöscht.
- Ergänzen sich die doppelten Einträge, wird der Eintrag mit den meisten Informationen als Haupteintrag ausgewählt. Seine Eigenschaften werden mit den Werten der anderen Einträge vervollständigt. Anschließend werden alle Einträge außer dem Haupteintrag gelöscht.
- Widersprechen sich Werte, konfiguriere eine Regel oder belasse die Gruppe im Status Needs review.
Datenkonflikte beim automatischen Zusammenführen lösen
Beim Ausführen des Auto-Merging-Algorithmus erkennt der Duplicates Finder von Datablist automatisch widersprüchliche Eigenschaften. Ein Konflikt liegt vor, wenn zwei Einträge für dieselbe Eigenschaft unterschiedliche Werte enthalten. Um sie zusammenzuführen, stehen Dir folgende Optionen zur Verfügung:
- Combine verbindet unterschiedliche Textwerte mit einem ausgewählten Trennzeichen.
- Keep the selected record's value verwirft die übrigen Werte.
- Mit kostenpflichtigen Field-Survivorship-Regeln kannst Du für jede Eigenschaft den neuesten, ältesten, längsten, kürzesten, höchsten, niedrigsten oder häufigsten Wert auswählen.
Bereinigungsregeln für das Data Matching mehrerer Collections
Wenn Du das Data-Matching-Tool von Datablist auf mehrere Datensätze anwendest, steht die Funktion zum automatischen Zusammenführen nicht zur Verfügung. Deine Collections können unterschiedliche Datenstrukturen und Eigenschaften haben.
Stattdessen bietet Datablist eine Bereinigungsfunktion, die doppelte Einträge aus allen Collections bis auf eine entfernt. Damit stellst Du sicher, dass jeder Eintrag in Deinen Datensätzen nur einmal vorkommt.
Bevor der Bereinigungsalgorithmus ausgeführt wird, erscheint eine Vorschau der geplanten Änderungen.
Manuelles Zusammenführen mit dem Merging Assistant
Für die verbleibenden doppelten Datensätze steht ein Assistent zum manuellen Zusammenführen bereit.
Klicke auf Review group und öffne den Manual Merging Assistant.
Daraufhin öffnet sich ein Tool zum Zusammenführen. Rechts wird ein „Primary Item“ angezeigt, links heißen die übrigen doppelten Einträge „Secondary Items“. Datablist bestimmt den Eintrag mit den meisten Daten als „Primary Item“.
Wenn möglich, werden Eigenschaftswerte aus den Secondary Items automatisch ausgewählt und in das Primary Item übernommen. Widersprechen sich mehrere Werte, musst Du entscheiden, welchen Du behalten möchtest.
Entspricht das resultierende „Primary Item“ Deinen Vorstellungen, bestätige den Vorgang mit dem Button Merge. Alle Secondary Items werden gelöscht, sodass nur ein zusammengeführter Eintrag übrig bleibt.
Hinweis Der Manual Merging Assistant steht bei der Deduplizierung mehrerer Collections zur Verfügung, wenn diese eine ähnliche Datenstruktur mit denselben Eigenschaften haben.
Duplikatgruppen für externe Tools herunterladen
Zum Schluss kannst Du die vom Data-Matching-Tool von Datablist erkannten Duplikatgruppen exportieren. Dabei erhältst Du eine CSV- oder Excel-Datei, in der alle doppelten Einträge direkt nacheinander aufgeführt sind.
Nutze die Exportdatei, um Deine Datensätze mit einem anderen Tool, zum Beispiel einer Tabellenkalkulation, zu bereinigen oder komplexere Analysen durchzuführen.
FAQ
Was ist Data Matching?
Data Matching, auch Record Linkage oder Deduplizierung genannt, bezeichnet das Identifizieren und Verknüpfen zusammengehöriger Datensätze innerhalb eines Datensatzes oder über mehrere Datensätze hinweg. Hauptziel ist es, Datenqualität, Genauigkeit und Konsistenz zu verbessern, indem doppelte oder ähnliche Einträge erkannt und zusammengeführt werden, die dieselben Entitäten, Personen oder Objekte darstellen.
Dieser Prozess hilft bei der Bereinigung von Datensätzen, in denen sich mit der Zeit Duplikate ansammeln. Außerdem lassen sich so mehrere Datensätze mit ähnlichen oder überlappenden Feldern kombinieren.
Für das Data Matching können aussagekräftige Felder wie E-Mail-Adresse, Website-URL oder Identifikationszeichenfolgen beziehungsweise -nummern verwendet werden. Alternativ lässt sich aus einer Kombination nicht eindeutiger Attribute wie Name, Geburtsdatum, Unternehmensname oder Standort ein Ähnlichkeitswert zwischen Datensätzen berechnen.
Wie schnell ist das Data-Matching-Tool von Datablist?
Das Data-Matching-Tool von Datablist lädt Deine Datensätze zur Analyse in den Arbeitsspeicher. Es eignet sich für Datensätze mit weniger als einer Million Einträgen und führt die meisten Data-Matching-Analysen in wenigen Minuten durch.
Brauche ich technische Kenntnisse für Data Matching?
Nein. Datablist ist eine No-Code-Lösung für alle – von Data Analysts bis hin zu Marketing- und Sales-Teams.
Wann sollte ich Data Matching einsetzen?
Data Matching wird in vielen Bereichen eingesetzt, darunter Finanzen, Gesundheitswesen, Marketing und Kundenmanagement. Dort sind zuverlässige Daten für fundierte Entscheidungen oder die Integration mit anderen Tools unverzichtbar.
Der Prozess erleichtert Aufgaben wie Betrugserkennung, die Zusammenführung von Benutzerprofilen und Data Enrichment aus mehreren Quellen.
Wie geht es weiter?
Wenn Du Dich für Datenbereinigung interessierst, könnten Dir auch diese Guides gefallen: