Datenbereinigung bedeutet, Fehler in einem Datensatz zu finden und zu beheben, bevor Du ihn verwendest. Bei einer Lead-Liste kann das heißen, Datumsangaben zu korrigieren, überflüssige Leerzeichen zu entfernen, vollständige Namen aufzuteilen und doppelte Kontakte zusammenzuführen. Dieser Leitfaden zeigt Dir, wie Du diese Aufgaben in Datablist erledigst und das Ergebnis vor dem Export oder der Anreicherung prüfst.
Beginne mit den Spalten, die einen Datensatz eindeutig identifizieren, etwa einer E-Mail-Adresse oder einer Unternehmensdomain. Bereinige ihre Formatierung, prüfe Duplikate und konvertiere oder extrahiere anschließend die übrigen benötigten Werte. Prüfe nach jedem Vorgang einige Beispielzeilen, damit eine Formatierungsregel keine gültigen Daten verändert.
Hier findest Du einen schnellen Überblick über die Bereinigungsschritte in diesem Artikel:
- Text in Datetime, Number oder Boolean umwandeln
- HTML in Text umwandeln (HTML-Tags entfernen)
- Überflüssige Leerzeichen aus Texten entfernen
- Daten normalisieren
- Sonderzeichen aus Texten entfernen
- Vollständige Namen in Vor- und Nachnamen aufteilen
- Doppelte Datensätze entfernen
- E-Mail-Adressen, URLs und mehr aus Texten extrahieren
- Daten mit regulären Ausdrücken filtern und validieren
- Eigene Transformationen mit JavaScript schreiben
- E-Mail-Adressen validieren
Daten aus CSV importieren oder einfügen
Datablist eignet sich ideal zur Datenbereinigung. Der Online-CSV-Editor bietet Funktionen zum Bereinigen, zur Massenbearbeitung und zur Datenanreicherung. Dabei lassen sich pro Collection mehrere Millionen Einträge verarbeiten.
Bei mehrsprachigen Textfeldern kannst Du Zeilen mit gemischten Sprachen mit Sprachlabels versehen, bevor Du sie filterst, weiterleitest oder übersetzt.
Öffne Datablist und lade Deine Datenquellen in Collections.
Um eine neue Collection anzulegen, klicke in der Seitenleiste auf den +-Button. Klicke anschließend auf „Import CSV/Excel“, um Deine Datei zu laden. Alternativ kannst Du über den Shortcut auf der Einstiegsseite direkt zum Dateiimport springen.
Format automatisch erkennen
Der Import-Assistent von Datablist erkennt E-Mail-Adressen, Datetime-Werte im ISO-8601-Format, Booleans, Numbers, URLs und weitere Datentypen automatisch, wenn sie korrekt formatiert sind.
Wenn Deine Daten eine komplexere Analyse erfordern, etwa wegen abweichender Datumsformate oder Tippfehlern in URLs und E-Mail-Adressen, importiere sie als Text-Property. Im nächsten Abschnitt zeige ich Dir, wie Du Text-Properties in Datetime, Boolean oder Number umwandelst.
Text in Datetime, Boolean oder Number umwandeln
Marie Kondo sagt: „Das Leben beginnt erst richtig, wenn Du Dein Zuhause aufgeräumt hast.“ Für Deine Daten gilt dasselbe: „Der Vertrieb beginnt erst richtig, wenn Deine Daten aufgeräumt sind!“ 😅
Nach einem Datum (Erstellungsdatum, Finanzierungsdatum usw.), einer Zahl (Preis, Mitarbeiterzahl) oder einem Boolean-Wert lässt sich viel leichter filtern, wenn diese als native Objekte und nicht nur als Text vorliegen.
Öffne im Menü „Clean“ das Tool „Text to Datetime, Number, Checkbox“.
Beliebigen Text ins Datetime-Format umwandeln
Für Datetime gibt es mit ISO 8601 ein internationales Format mit klar definierter Struktur. Verwendet Dein Datensatz ISO 8601, wird beim Import automatisch eine Datetime-Property für diese Werte erstellt.
Für Date- und Datetime-Werte in anderen Formaten musst Du das verwendete Format angeben, damit Datablist sie in strukturierte Datetime-Werte umwandeln kann.
Wähle die zu konvertierende Property und anschließend „Convert to Datetime“ aus.
Gängige Formate, darunter die von Google Sheets und Excel verwendeten Datumsformate, stehen direkt zur Auswahl. Mit „Custom format“ kannst Du ein eigenes Datetime-Format definieren.
Enthält eine Property Datums- oder Datetime-Werte in mehreren Formaten, wähle unter „Datetime Conversion Format“ die Option „Custom or multiple formats“. Gib anschließend pro Zeile ein Format ein. Datablist testet die Formate von oben nach unten, bis ein gültiges Datum erkannt wird.
👉 In unserer Dokumentation erfährst Du mehr über eigene Datetime-Formate.
Checkboxen (Boolean) aus Textwerten erstellen
Datablist wandelt Spalten mit Werten wie „Yes, No“ oder „TRUE, FALSE“ beim Import automatisch in Checkbox-Properties um. Für komplexere Zuordnungen kannst Du den Converter verwenden.
Lege die durch Kommas getrennten Werte fest, die in eine aktivierte Checkbox umgewandelt werden sollen. Alle übrigen Werte bleiben deaktiviert.
Zahlenwerte aus Texten extrahieren
Mit dem Converter „Text to number“ kannst Du:
- Zahlen mit eigenen Dezimal- und Tausendertrennzeichen normalisieren
- Zahlen aus Texten mit Buchstaben extrahieren
👉 In unserer Dokumentation erfährst Du mehr über die Zahlenkonvertierung.
Daten bereinigen
HTML in Text umwandeln
Scraping-Tools verarbeiten HTML-Code. Deshalb können Deine Texte HTML-Tags enthalten.
HTML-Code umfasst Links, Bilder und Aufzählungen und ist häufig in Absätze und mehrere Zeilen gegliedert.
Das Ziel besteht darin, einen Teil dieser Struktur beizubehalten und gleichzeitig den schwer lesbaren Code in Klartext umzuwandeln.
Der HTML-to-Text-Converter von Datablist erhält Zeilenumbrüche und wandelt Aufzählungspunkte in Listen mit dem Präfix - um.
Um Text mit HTML-Tags in Klartext umzuwandeln, öffne im Menü „Edit“ das Tool Bulk Edit.
Wähle die Property mit den HTML-Tags und anschließend „Convert HTML into plain text“ aus.
Überflüssige Leerzeichen entfernen
Ein weiteres häufiges Problem bei unsauberen Daten sind überflüssige Leerzeichen. Sie entstehen durch Zeilenumbrüche, Tab und andere Zeichen, die in HTML einen Abstand darstellen.
Datablist bietet ein Bereinigungstool, mit dem Du diese Leerzeichen entfernst.
Es stehen zwei Modi zur Verfügung:
- Modus 1: Alle Leerzeichen entfernen – Dieser Modus entfernt sämtliche Leerzeichen. Das ist praktisch, um Telefonnummern, Preise und ähnliche Werte zu bereinigen, die nur Buchstaben, Ziffern oder andere relevante Zeichen enthalten sollen.
- Modus 2: Nur „überflüssige Leerzeichen“ entfernen.
Im zweiten Modus arbeitet der Algorithmus wie folgt:
- Er entfernt überflüssige Leerzeichen zwischen Wörtern
- Er entfernt leere Zeilen
- Er entfernt Leerzeichen am Anfang und Ende jeder Zeile
Um überflüssige Leerzeichen zu entfernen, öffne im Menü „Edit“ das Tool „Bulk Edit“. Wähle Deine Property und die Aktion „Remove extra spaces“ aus.
Aktiviere die Option „Remove all spaces“, um sämtliche Leerzeichen zu entfernen. Lasse sie deaktiviert, wenn Du nur überflüssige Leerzeichen löschen möchtest.
Hier siehst Du ein Beispiel, in dem der Algorithmus überflüssige Leerzeichen entfernt:
Nach der Bereinigung ohne die überflüssigen Leerzeichen:
Groß- und Kleinschreibung bereinigen
Die Groß- und Kleinschreibung Deiner Texte lässt sich ganz einfach ändern. Öffne dazu im Menü „Edit“ das Tool „Bulk Edit“.
Wähle die zu bearbeitende Property und die Aktion „Change text case“ aus.
Es stehen vier Modi zur Verfügung:
- Uppercase – Alle Buchstaben werden in Großbuchstaben umgewandelt. Beispiel:
john=>JOHN - Lowercase – Alle Buchstaben werden in Kleinbuchstaben umgewandelt. Beispiel:
API=>api - Capitalize – Der erste Buchstabe jedes Wortes wird großgeschrieben. Beispiel:
john is a good man=>John Is A Good Man - Capitalize only the first word – Nur der erste Buchstabe des ersten Wortes wird großgeschrieben. Beispiel:
john is a good man=>John is a good man
Sonderzeichen aus Texten entfernen
Texte, die aus HTML-Seiten gescrapt oder von Nutzern eingegeben wurden, etwa LinkedIn-Profiltitel, können Symbole wie Smileys und andere Zeichen enthalten. Diese können die weitere Datenverarbeitung beeinträchtigen. Schon ein Smiley am Ende eines Namens kann verhindern, dass ein Deduplizierungsalgorithmus den Eintrag erkennt.
Datablist besitzt einen integrierten Prozessor, der nicht textbasierte Symbole aus Deinen Daten entfernt.
Klicke im Menü „Edit“ auf „Bulk Edit“, wähle eine Text-Property und anschließend die Transformation „Remove symbols“ aus.
Wenn die Vorschau passt, starte die Transformation, um Deine Einträge zu verarbeiten.
Daten mit Find and Replace normalisieren
Um Segmente in Deinen Prospect-Listen zu erstellen, musst Du Deine Daten normalisieren.
- Jobtitel normalisieren
- Länder und Städte normalisieren
- URLs normalisieren
- Usw.
Dein Ziel ist es, eine Property mit Freitext auf eine begrenzte Zahl möglicher Werte zu reduzieren. Alternativ kannst Du Texte in eine einfachere Form bringen, beispielsweise eine URL mit Pfad auf die reine Domain reduzieren.
Datablist bietet dafür ein leistungsstarkes Find-and-Replace-Tool. Es funktioniert sowohl mit einfachem Text als auch mit regulären Ausdrücken.
Reguläre Ausdrücke sind komplex, aber ausgesprochen leistungsfähig.
Hier sind einige Beispiele, wie Du RegEx zur Datenbereinigung einsetzen kannst.
Query-Parameter aus einer URL entfernen
Gescrapte URLs enthalten häufig unnötige Query-Parameter für Tracking- oder Marketingzwecke. Wenn Du sie entfernst, erhältst Du saubere URLs. Außerdem erleichtert das die Deduplizierung, wenn Du die URL nutzt, um doppelte Datensätze zu finden.
Um Query-Parameter aus Deinen URLs zu entfernen, aktiviere die Option „Match using regular expression“. Verwende anschließend den folgenden regulären Ausdruck und lasse den Ersetzungstext leer:
\?.*$
Wende ihn anschließend auf Deine URL-Property an.
Domain aus E-Mail-Adressen extrahieren
Ein weiterer Anwendungsfall für Find and Replace mit regulären Ausdrücken ist das Extrahieren von Website-Domains aus E-Mail-Adressen.
Dupliziere Deine E-Mail-Property, um die Quelldaten zu erhalten. Verwende anschließend den folgenden regulären Ausdruck und lasse den Ersetzungstext leer:
^(\w)*@
👉 Weitere Informationen findest Du in unserer Find-and-Replace-Dokumentation.
Vollständige Namen in Vor- und Nachnamen aufteilen
Beim Scraping von Lead-Listen erhältst Du Kontakte oft mit einem „Full Name“, den Du in „First Name“ und „Last Name“ aufteilen musst. Den Namen einer Person zuverlässig in seine Bestandteile zu zerlegen, ist dabei ein wichtiger Schritt.
Die Trennung von Vor- und Nachnamen hilft Dir, Personen in Cold-Emailing-Kampagnen persönlicher anzusprechen, das Geschlecht eines Kontakts zu ermitteln und akademische Titel zu erkennen.
Namen aufzuteilen kann kompliziert sein. Datablist bietet dafür ein einfaches Tool, das „Name“ anhand eines Leerzeichens als Trennzeichen in zwei Werte zerlegt.
Öffne zunächst im Menü „Edit“ das Tool „Split Property“.
Wähle danach die Property mit den zu zerlegenden Namen aus. Verwende Space als Trennzeichen und setze die maximale Anzahl der Teile auf 2.
Starte die Vorschau. Datablist verarbeitet die ersten zehn Einträge und erstellt daraus eine Vorschau. Wenn das Ergebnis passt, klicke auf „Split Property“, um den Algorithmus auf alle aktuellen Einträge anzuwenden.
Benenne die beiden neu erstellten Properties anschließend in „First Name“ und „Last Name“ um.
Dieses Beispiel konzentriert sich auf Namen nach westlicher Namenskonvention, die üblicherweise aus einem Vor- und einem Nachnamen bestehen. Bei nicht westlichen Namen mit mehreren Vornamen oder Nachnamen kann die Aufteilung komplexer werden. Das gilt auch für Namen mit Titeln oder Namenszusätzen.
Doppelte Datensätze entfernen
Datablist bietet einen leistungsstarken Deduplizierungsalgorithmus, um doppelte Datensätze zu entfernen. Er findet ähnliche Einträge anhand einer oder mehrerer Properties und führt sie mit einem automatischen Algorithmus zusammen, ohne Daten zu verlieren.
Um den Deduplizierungsalgorithmus zu starten, klicke im Menü „Clean“ auf „Duplicate Finder“.
Wähle die Properties aus, die für den Abgleich verwendet werden sollen.
Führe auf der Ergebnisseite den „Auto Merge“-Algorithmus zunächst nur mit der Option „Merge non-conflicting duplicates“ aus. Dadurch werden problemlos zusammenführbare Duplikate vereint und Properties mit Konflikten aufgelistet.
Der Deduplizierungsalgorithmus bietet zwei Optionen für widersprüchliche Daten. Du kannst „Combine conflicting properties“ wählen und die Werte mit einem Trennzeichen kombinieren. Alternativ kannst Du widersprüchliche Werte verwerfen und nur einen Master-Eintrag behalten.
👉 Lies unseren Leitfaden zum Zusammenführen von Duplikaten in CSV-Dateien und unseren Guide zum Suchen und Zusammenführen von Duplikaten anhand von Unternehmensnamen.
E-Mail-Adressen, URLs und mehr aus Texten extrahieren
Der Datablist Data Extractor ist ein Tool, das unstrukturierte Texte analysiert und daraus Entitäten extrahiert.
Mit Mustererkennung findet er:
- E-Mail-Adressen in einem Text
- URLs in einem Text
- Domains aus URLs
- Domains aus E-Mail-Adressen
- Mentions, beispielsweise @name, in einem Text
- Tags, beispielsweise #tag, in einem Text
Der Data Extractor eignet sich ideal für Datenanalysen und zur Strukturierung Deiner Daten. Mit korrekt formatierten E-Mail-Adressen, URLs und weiteren Werten kannst Du Deine Daten mit anderen Tools verbinden und automatisierte Workflows erstellen.
Sobald Du beispielsweise E-Mail-Adressen extrahiert hast, kannst Du sie anreichern, um Kontaktdaten zu finden. Über die Domain einer URL kannst Du wiederum beispielsweise das Traffic-Ranking ermitteln.
Du findest den Datablist Data Extractor unter „Edit Menu -> Extract url, email, tag, etc.“.
Wähle die Property mit dem unstrukturierten Text und anschließend einen Parser aus.
Starte den Parser, um eine Vorschau zu erhalten. Wenn das Ergebnis passt, klicke auf „Extract“, um Deine Einträge zu verarbeiten.
Daten mit regulären Ausdrücken filtern und validieren
Mit Datablist kannst Du reguläre Ausdrücke verwenden, um Deine Daten zu filtern.
Texte nach Wortanzahl filtern
Mit diesem regulären Ausdruck filterst Du Texte mit mindestens {n} Wörtern:
(?:\w+(?:\s|$)){5,} (ersetze die 5 durch eine beliebige Zahl)
Weitere Varianten dieses RegEx sind:
(?:\w+(?:\s|$)){,5}: Texte mit höchstens 5 Wörtern, einschließlich Texten mit genau 5 Wörtern(?:\w+(?:\s|$)){5,10}: Texte mit 5 bis 10 Wörtern
Ungültige URLs filtern
Der folgende RegEx findet ungültige URLs:
^(?!(?:http(s)?:\/\/)?[\w.-]+(?:\.[\w\.-]+)+[\w\-\._~:/?#[\]@!\$&'\(\)\*\+,;=.]+).*$
Ungültige E-Mail-Adressen filtern
Der folgende RegEx findet ungültige E-Mail-Adressen:
^(?!([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})).*$
Eigene Transformationen mit JavaScript schreiben
Mit Datablist kannst Du eigenen JavaScript-Code auf Deinen Daten ausführen. So löst Du individuelle Datenprobleme, verarbeitest spezielle Datenformate, führst komplexe Berechnungen durch und setzt anspruchsvolle Datentransformationen um.
Diese leistungsstarke Funktion gibt Dir viel Freiheit bei der Datenbearbeitung und -transformation. Du kannst eigene Logik anwenden, Schleifen und Bedingungen erstellen sowie zahlreiche JavaScript-Funktionen nutzen, um selbst komplexe Aufgaben bei der Datenbereinigung zu bewältigen.
Öffne den JavaScript-Editor, indem Du im Menü „Edit“ auf „Run JavaScript“ klickst.
👉 In unserer Dokumentation erfährst Du mehr über das Schreiben von JavaScript-Code.
E-Mail-Adressen validieren
Gescrapte Daten können veraltet sein, Tippfehler enthalten oder ungültig sein. Das gilt besonders für E-Mail-Adressen aus Scraping-Prozessen.
Bei nutzergenerierten Daten landen außerdem gefälschte E-Mail-Adressen oder Adressen von Wegwerf-E-Mail-Anbietern in Deiner Datenbank.
Datablist besitzt ein integriertes Tool zur E-Mail-Validierung, mit dem Du Tausende E-Mail-Adressen prüfen kannst.
Der Service zur E-Mail-Validierung umfasst:
- Analyse der E-Mail-Syntax – Zuerst wird geprüft, ob die E-Mail-Adresse dem IETF-Standard entspricht. Dazu erfolgt eine vollständige Syntaxanalyse. Adressen ohne @-Zeichen, mit ungültigen Domains und ähnlichen Fehlern werden markiert.
- Prüfung auf Wegwerf-E-Mail-Anbieter – Im zweiten Schritt werden temporäre E-Mail-Adressen erkannt. Der Service sucht nach Domains von Disposable-Email-Address-Anbietern (DEA) wie Mailinator, Temp-Mail oder YopMail.
- Prüfung der MX-Einträge einer Domain – Eine gültige E-Mail-Adresse benötigt einen zugehörigen Domainnamen mit konfigurierten MX-Einträgen. Diese MX-Einträge geben an, welcher Mailserver E-Mails für die Domain annimmt. Fehlende MX-Einträge weisen auf eine ungültige E-Mail-Adresse hin. Für jede E-Mail-Domain prüft der Service die DNS-Einträge und sucht nach MX-Records. Existiert die Domain nicht, wird die E-Mail-Adresse als ungültig markiert. Dasselbe gilt, wenn die Domain existiert, aber keinen gültigen MX-Eintrag besitzt.
- Segmentierung geschäftlicher und privater E-Mail-Adressen – Bei Prospects aus Lead-Magneten oder zur Segmentierung Deiner Nutzerbasis möchtest Du Kontakte eventuell in geschäftliche und private E-Mail-Adressen aufteilen. Der Service zur E-Mail-Validierung liefert Dir diese Information zur Anreicherung Deiner Kontaktdaten.
👉 Lies unseren Leitfaden zur Bereinigung einer E-Mail-Liste.
FAQ
Was ist Datenbereinigung und warum ist sie wichtig?
Datenbereinigung, auch Data Cleansing oder Data Scrubbing genannt, bezeichnet den Prozess, Fehler, Widersprüche und Ungenauigkeiten in einem Datensatz zu erkennen, zu korrigieren oder zu entfernen. Dazu gehören Probleme wie fehlende Werte, doppelte Datensätze, Formatierungsfehler, Ausreißer und eine uneinheitliche Darstellung von Daten.
Die Datenbereinigung ist ein entscheidender Schritt der Datenverarbeitung. Sie sorgt dafür, dass Deine Daten korrekt, zuverlässig und für Analysen oder andere Anwendungen geeignet sind.
Welche anderen kostenlosen Tools zur Datenbereinigung gibt es?
Das Angebot an Tools zur Datenbereinigung reicht von allgemeinen Tabellenkalkulationen bis zu spezialisierten Anwendungen. Hier findest Du einige empfehlenswerte kostenlose Alternativen zu Datablist, die Du für Deine Datenbereinigung nutzen kannst.
OpenRefine
OpenRefine, früher als Google Refine bekannt, ist ein Open-Source-Tool zur Untersuchung, Bereinigung und Transformation unordentlicher und uneinheitlicher Daten.
OpenRefine ist eine eigenständige Desktop-Anwendung. Sie unterstützt tabellarische Dateien wie CSV und TSV, Microsoft-Excel-Dateien sowie andere strukturierte Formate wie JSON und XML.
OpenRefine ist besonders hilfreich bei fehlerhaften CSV-Dateien:
- Das Tool kommt sehr gut mit Problemen bei der CSV-Zeichenkodierung zurecht
- Es bietet Optionen zur Behebung von CSV-Formatfehlern
Zu den Schwächen zählen die steile Lernkurve und einige fehlende Business-Funktionen. Es gibt weder eine Deduplizierungsfunktion noch einfache Workflows, um einen Datensatz mit einer anderen Liste zu verbinden und Daten zu aktualisieren oder zusammenzuführen. Auch Funktionen zur Zusammenarbeit sowie Business-Enrichments und Integrationen fehlen.
Microsoft Excel und Google Sheets
Microsoft Excel und Google Sheets sind leistungsstarke Tabellenkalkulationen, die sich für Aufgaben rund um Datenbereinigung und Datenaufbereitung eignen. Trotz einiger Unterschiede bieten beide Tools zahlreiche Funktionen, mit denen Du Daten bereinigen und transformieren kannst.
Mit Formeln kannst Du Daten transformieren und bearbeiten. Über bedingte Formatierung lassen sich ungültige Werte hervorheben, die Du manuell prüfen musst.
Brauchst Du Hilfe bei der Datenbereinigung?
Ich freue mich immer über Feedback und konkrete Probleme rund um die Datenbereinigung, die ich lösen kann. Kontaktiere mich und erzähle mir von Deinem Use Case.