Um doppelte CSV-Zeilen sicher zu entfernen, wählst Du zuerst die Spalte aus, die einen Datensatz eindeutig identifiziert. Prüfe anschließend die vorgeschlagenen Gruppen und lösche überflüssige Zeilen oder führe die Werte zusammen, die erhalten bleiben sollen. Das funktioniert mit einer einzelnen CSV-Datei genauso wie mit mehreren Dateien, die Du in dieselbe Datablist Collection importierst.
Nutze im ersten Durchlauf E-Mail-Adresse, Telefonnummer, Unternehmenswebsite, SKU oder eine andere stabile Kennung. Wenn sich Werte durch unterschiedliche Schreibweisen oder Formatierungen unterscheiden, verwende Smart-, Fuzzy- oder phonetisches Matching und prüfe unsichere Gruppen manuell.
Duplikate aus CSV-Dateien zusammenführen
Datablist eignet sich hervorragend für Datenoperationen, die mit Tabellenprogrammen nur schwer möglich sind. Nutze es, wenn Du einen leistungsfähigen Online-CSV-Editor suchst.
In diesem Guide arbeiten wir mit zwei CSV-Dateien, die Tausende Einträge enthalten. Wir laden beide in eine gemeinsame Collection und deduplizieren die Einträge anhand einer von vier Spalten. Die Deduplizierung funktioniert natürlich auch mit nur einer CSV-Datei.
📘 CSV-Dateien für das Tutorial herunterladen
Die Beispieldateien haben vier Spaltenüberschriften: firstname, lastname, email und profession (Berufsbezeichnung). Datei 1 enthält 1.000 Datenzeilen, Datei 2 enthält 1.003. Vor der Deduplizierung sind es also insgesamt 2.003 Zeilen. Wir möchten Datensätze zusammenführen, die dieselbe E-Mail-Adresse haben.
Wenn Dein E-Mail-Feld mehrere Adressen in einer Zelle enthält, solltest Du CSV-Zellen mit mehreren Werten vor der Duplikatsuche in einzelne Zeilen aufteilen. Ist der Quellexport zu groß, um ihn sicher zu importieren oder zu prüfen, kannst Du die große CSV-Datei vor der Deduplizierung aufteilen.
Der Ablauf zum Zusammenführen von Duplikaten lässt sich so zusammenfassen:
- CSV-Dateien in eine Datablist Collection laden
- Spalten für die Duplikatsuche auswählen
- Konfliktfreie Duplikate automatisch zusammenführen
- Verbleibende Duplikate manuell zusammenführen
Schritt 1: CSV-Dateien in Datablist laden
Neue Collection erstellen
Zuerst lädst Du die CSV-Datei in Datablist. Öffne Datablist – ganz ohne Anmeldung, um loszulegen.
Klicke auf den Button "New collection" mit dem +, um eine neue Collection zu erstellen. Gib ihr anschließend einen Namen und wähle ein Icon aus.
Klicke danach auf Import CSV.
Properties für Deine CSV-Datei erstellen
Nach dem Laden der CSV-Datei kannst Du anhand der Spaltennamen passende Properties für Deine Collection erstellen. Datablist listet jede gefundene CSV-Spalte auf, sodass Du für jede davon eine Property anlegen kannst.
CSV-Dateien enthalten keine Angaben zu Spaltentypen. Datablist schlägt anhand der importierten Werte passende Typen vor, damit Du die Daten leichter sortieren und filtern kannst. Prüfe diese Vorschläge vor dem Import.
Kennungen wie SKU, Account ID oder Postleitzahl lasse ich als Text importieren. Wenn Du beispielsweise 00127 in eine Zahl umwandelst, gehen die führenden Nullen verloren und der Match Key verändert sich. Lies den Guide zu Property-Typen, wenn Du unsicher bist, welcher Typ passt.
Daten prüfen und importieren
Im Prüfschritt werden die CSV-Zeilen direkt aus der Datei angezeigt. Achte darauf, dass die Daten einheitlich und korrekt formatiert sind. Klicke dann auf "Import items" – fertig! 💪
Weitere CSV-Dateien genauso importieren
Deine Collection und ihre Properties sind jetzt eingerichtet. Nutze erneut "Import CSV/Excel", um weitere CSV- oder Excel-Dateien in dieselbe Collection zu importieren.
Schritt 2: Duplikate finden
Öffne nach dem Laden der CSV-Dateien Clean > Merge duplicates. Wenn die zusätzlichen Zeilen keine Daten enthalten, die Du behalten möchtest, wählst Du stattdessen Remove duplicates.
Es stehen zwei Modi zur Verfügung:
- All Properties vergleicht die vollständigen Zeilen.
- Selected Properties vergleicht nur die Spalten, die den Datensatz identifizieren.
In unserem Beispiel reicht die Property email aus, um einen Kontakt eindeutig zu erkennen. Wähle deshalb den Modus Selected Properties und die Property email.
Nutze für diese beiden Beispieldateien Exact Matching für email, um die Kontrollwerte nachzuvollziehen: Acht Duplikatgruppen enthalten jeweils zwei Zeilen. Nachdem Du alle acht Gruppen auf jeweils eine Zeile reduziert hast, sollte die exportierte CSV-Datei ohne Kopfzeile 1.995 Datenzeilen enthalten. Weicht die Zahl ab, prüfe, ob Du beide Dateien genau einmal importiert hast, email als Matching-Spalte ausgewählt ist und noch Gruppen unbearbeitet sind.
Wenn Aliasse oder Weiterleitungsadressen zu abweichenden Werten führen, kannst Du diese Varianten mit dem speziellen Workflow für doppelte E-Mail-Adressen bereinigen.
Die Prüfung ist schreibgeschützt. Im Ergebnisbereich siehst Du die gefundenen Gruppen und den jeweiligen Match-Grund. Außerdem werden fertige Ready-Gruppen von Treffern getrennt, die Du noch prüfen musst.
Doppelte CSV-Zeilen ohne Zusammenführen entfernen
Wenn Du ausschließlich Zeilen entfernen möchtest, wählst Du im Ergebnisbereich Remove duplicates:
- Prüfe Record to keep. Standardmäßig ist Most Complete ausgewählt; andere Regeln zur Datensatzauswahl setzen einen kostenpflichtigen Tarif voraus. Die ausgewählte Zeile bleibt unverändert.
- Öffne einige Gruppen und vergleiche die mit Keep und Remove markierten Zeilen. Prüfe, ob die zu entfernenden Zeilen eine Telefonnummer, Notiz oder einen aktuelleren Wert enthalten, den Du noch brauchst.
- Sind diese Werte wichtig, wähle Merge and preserve data und folge Schritt 3. Beim reinen Entfernen werden zusätzliche Werte nicht in die beibehaltene Zeile übernommen.
- Entsprechen die Ready-Gruppen Deinen Erwartungen, klicke auf Remove ready duplicates. Lies vor der Bestätigung alle Hinweise zu möglichen Datenverlusten.
Zwei identische Zeilen mit derselben E-Mail-Adresse kannst Du beispielsweise auf eine Zeile reduzieren. Enthalten zwei Zeilen mit derselben E-Mail-Adresse jedoch unterschiedliche Telefonnummern, musst Du Dich entscheiden: Möchtest Du einen Datensatz unverändert behalten oder beide Telefonnummern in den Zieldatensatz übernehmen?
Wähle zuerst die Matching-Spalten und entscheide erst danach, welche Zeile erhalten bleibt. All Properties findet vollständig identische Zeilen. Mit Selected Properties kannst Du denselben Kontakt auch dann gruppieren, wenn sich Berufsbezeichnungen oder Telefonnummern unterscheiden. Eine gemeinsame Unternehmenswebsite allein ist als Kriterium zu allgemein, wenn mehrere Kontakte für dasselbe Unternehmen arbeiten.
Bewahre Deine ursprünglichen CSV-Dateien auf. Vergleiche nach der Verarbeitung die Anzahl der entfernten Zeilen mit den geprüften Gruppen, kontrolliere die beibehaltenen Kennungen und exportiere die bereinigte Collection als CSV. Zeilen, die noch geprüft werden müssen, können in der Collection verbleiben. Ein abgeschlossener Batch bedeutet daher nicht automatisch, dass alle möglichen Duplikate bearbeitet wurden.
Schritt 3: Duplikate automatisch zusammenführen
Wähle Merge and preserve data, wenn die zusätzlichen CSV-Zeilen nützliche Werte enthalten. Datablist bestimmt einen Zieldatensatz, füllt leere Properties auf, wendet Deine Konfliktregeln an und löscht anschließend die sekundären Zeilen.
In der Vorschau werden Ready-Gruppen getrennt von Gruppen mit ungelösten Konflikten angezeigt. In der Dokumentation zum Duplicate Finder findest Du alle Einstellungen für die Prüfung, Survivorship Rules und die Auswahl des Zieldatensatzes.
Klappe Resolve conflicting values auf, um zu sehen, für welche Properties noch eine Regel fehlt.
Konfliktfreie Zeilen zusammenführen
Der Algorithmus "Merge non-conflicting duplicates" führt einen Smart Merge durch. Dabei werden Datensätze mit ähnlichen oder sich ergänzenden Werten zusammengeführt.
Aus diesen Duplikaten:
email | Vorname | Nachname
james@gmail.com | James
james@gmail.com | | Bond
wird beispielsweise:
email | Vorname | Nachname
james@gmail.com | James | Bond
Doppelte Werte kombinieren
Das Kombinieren oder Konsolidieren doppelter Werte ist ideal, wenn Deine Duplikate widersprüchliche Angaben enthalten, Du sie aber ohne Datenverlust zusammenführen möchtest.
Wenn Du beispielsweise die Property Phone mit einem Semikolon kombinierst:
email | Phone | Vorname | Nachname
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
entsteht daraus:
email | Phone | Vorname | Nachname
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Alle Properties mit Textinhalten lassen sich kombinieren. Als Trennzeichen stehen line break, semi-colon, comma und space zur Verfügung. Du kannst beim Zusammenführen eine oder mehrere Properties kombinieren.
Doppelte Einträge zusammenzuführen und ihre Werte zu kombinieren, ist ideal für die Bereinigung von Leads und CRM-Daten. Führe alle doppelten Leads zusammen und kombiniere die Properties Phone, Email und Notes, um eine saubere Liste zu erhalten. Nach dem Export kannst Du die bereinigte Lead-CSV einfach wieder in Dein CRM importieren.
Wert des ausgewählten Datensatzes behalten
Diese Regel übernimmt den Wert des ausgewählten Zieldatensatzes und verwirft alle anderen widersprüchlichen Werte.
Most Complete ist die Standardregel für Record to keep. In kostenpflichtigen Tarifen kannst Du weitere Regeln auswählen oder mithilfe von Survivorship Rules einzelne Feldwerte unabhängig voneinander bestimmen.
Nutze die Option drop conflicting values für:
- Technische Properties wie
Account Id, die nur einen Wert enthalten dürfen. - Properties vom Typ "Relation", die nicht mehrere Werte unterstützen, zum Beispiel
Lead owneroderAccount. - Properties ohne Textformat, die sich nicht kombinieren lassen, etwa Datums- und Zeitwerte wie
Last ActivityundContacted onsowie Checkboxen.
Schritt 4: Manueller Merging Assistant
Öffne Review group, wenn eine Duplikatgruppe eine manuelle Entscheidung erfordert. Mit dem Merging Assistant kannst Du den Zieldatensatz und für jede Property den Wert auswählen, der erhalten bleiben soll.
Der manuell ausgewählte Zieldatensatz behält seine Datablist ID. Die übrigen Zeilen werden als sekundäre Datensätze behandelt.
Prüfe jede Property, wähle die Werte aus, die Du behalten möchtest, und bestätige das Zusammenführen. Du kannst außerdem einzelne Zeilen aus der Duplikatgruppe ausschließen oder die gesamte Gruppe überspringen.
Bei Bedarf als CSV exportieren
Geschafft – Du hast Deine CSV-Dateien erfolgreich dedupliziert! Wenn Du das Ergebnis in einem anderen Tool verwenden möchtest, klicke auf "Export", um die Collection als neue CSV-Datei zu exportieren.
FAQ
Welche weiteren Datenoperationen bietet Datablist?
CSV-Dateien werden überall eingesetzt, um strukturierte Daten für Softwareanwendungen und Datensätze abzubilden. Obwohl das Format allgegenwärtig ist, ist die Bearbeitung von CSV-Dateien oft umständlich und setzt technisches Wissen voraus.
Für einfache Aufgaben reichen Tabellenprogramme aus. Bei folgenden Anwendungsfällen stoßen sie jedoch schnell an ihre Grenzen:
📘 Mehrere CSV-Dateien über eine eindeutige Spalte verbinden
Wenn Du mehrere CSV-Dateien anhand einer eindeutigen Spalte miteinander verknüpfen möchtest, lies unseren Guide zum Verbinden von CSV-Dateien.
Kann Datablist große CSV-Dateien verarbeiten?
Der kostenlose Tarif unterstützt bis zu eine Million Einträge pro Collection im Browser-Speicher. In kostenpflichtigen Tarifen kannst Du bis zu zwei Millionen Einträge pro Collection importieren. Umfangreiche lokale Operationen hängen dennoch von Deinem Browser und Gerät ab. Hier erfährst Du, wie Du große CSV-Dateien online bearbeitest.
Ist die Deduplizierung besser als „Duplikate entfernen“ in Excel und Google Sheets?
Tabellenprogramme wie Microsoft Excel und Google Sheets bieten ebenfalls Funktionen zur Deduplizierung. Diese entfernen ähnliche Zeilen. Für Business-Anwendungsfälle reicht es allerdings häufig nicht aus, Zeilen einfach zu löschen.
Datablist zeigt Dir die Duplikatgruppen, bevor die Datei verändert wird. Du kannst überflüssige Zeilen entfernen, sich ergänzende Werte zusammenführen, Konflikte lösen oder unsichere Gruppen unverändert lassen.
Wenn Du Fragen hast, kannst Du uns jederzeit kontaktieren.