Um doppelte CSV-Zeilen sicher zu entfernen, wählst Du zunächst die Spalte aus, die einen Datensatz eindeutig identifiziert. Prüfe anschließend die vorgeschlagenen Gruppen und entferne überflüssige Zeilen oder führe Werte zusammen, die Du behalten möchtest. Das funktioniert sowohl mit einer einzelnen CSV-Datei als auch mit mehreren Dateien, die in dieselbe Datablist-Collection importiert wurden.
Nutze im ersten Durchlauf E-Mail-Adresse, Telefonnummer, Unternehmenswebsite, SKU oder eine andere stabile Kennung. Wenn sich Werte durch unterschiedliche Schreibweisen oder Formatierungen unterscheiden, verwende Smart-, Fuzzy- oder phonetisches Matching und prüfe unsichere Gruppen manuell.
Duplikate aus CSV-Dateien zusammenführen
Datablist eignet sich hervorragend für Datenoperationen, die mit Tabellenprogrammen kaum möglich sind. Nutze es, wenn Du einen leistungsfähigen Online-CSV-Editor suchst.
In diesem Guide arbeiten wir mit zwei CSV-Dateien, die Tausende Einträge enthalten. Wir laden beide in eine einzige Collection und deduplizieren die Einträge anhand einer der vier Spalten. Die Deduplizierung funktioniert natürlich auch mit nur einer CSV-Datei.
So lädst Du die CSV-Dateien für dieses Tutorial herunter: CSV-Datei 1 und CSV-Datei 2
Die CSV-Datei enthält vier Spalten: First Name, Last Name, Email, Job Title. Wir möchten Einträge zusammenführen, die dieselbe E-Mail-Adresse haben.
Wenn Dein E-Mail-Feld mehrere Adressen in einer Zelle enthält, solltest Du CSV-Zellen mit mehreren Werten vor der Duplikatsuche in Zeilen aufteilen. Ist der Quellexport zu groß, um ihn sicher zu importieren oder zu prüfen, kannst Du die große CSV-Datei vor der Deduplizierung aufteilen.
Der Ablauf zum Zusammenführen von Duplikaten lässt sich so zusammenfassen:
- CSV-Dateien in eine Datablist-Collection laden
- Spalten für die Duplikatsuche auswählen
- Konfliktfreie Duplikate automatisch zusammenführen
- Verbleibende Duplikate manuell zusammenführen
Schritt 1: CSV-Dateien in eine Datablist-Collection laden
Neue Collection erstellen
Im ersten Schritt laden wir die CSV-Datei in Datablist. Öffne Datablist (keine Registrierung erforderlich), um loszulegen.
Klicke auf den Button "New collection" mit dem +, um eine neue Collection zu erstellen. Gib ihr anschließend einen Namen und wähle ein Icon aus.
Klicke dann auf den Button Import CSV.
Properties für Deine CSV-Datei erstellen
Nachdem die CSV-Datei geladen wurde, kannst Du anhand der CSV-Spaltennamen Properties für Deine Collection erstellen. Datablist führt jede gefundene Spalte auf, sodass Du für jede davon eine Property anlegen kannst.
CSV-Dateien enthalten keine Angaben zu Spaltentypen. Datablist schlägt anhand der importierten Werte passende Typen vor, damit Du die Daten leichter sortieren und filtern kannst. Prüfe diese Vorschläge vor dem Import.
Kennungen wie SKU, Account ID oder Postleitzahl speichere ich als Text. Wenn Du beispielsweise 00127 in eine Zahl umwandelst, gehen die führenden Nullen verloren und der Match Key verändert sich. Lies den Guide zu Property-Typen, wenn Du unsicher bist, welchen Typ Du verwenden solltest.
Daten prüfen und importieren
Im Prüfschritt werden die CSV-Zeilen direkt aus der Datei aufgelistet. Achte darauf, dass die Daten korrekt formatiert und einheitlich sind. Klicke danach auf den Button "Import items" – fertig! 💪
Weitere CSV-Dateien genauso importieren
Da Deine Collection jetzt fertig konfigurierte Properties hat, kannst Du über "Import CSV/Excel" weitere CSV- oder Excel-Dateien in dieselbe Collection importieren.
Schritt 2: Duplikate finden
Öffne nach dem Laden der CSV-Dateien Clean > Merge duplicates. Wähle stattdessen Remove duplicates, wenn die zusätzlichen Zeilen keine Daten enthalten, die Du behalten möchtest.
Dir stehen zwei Modi zur Verfügung:
- All Properties vergleicht die vollständigen Zeilen.
- Selected Properties vergleicht nur die Spalten, die den Datensatz identifizieren.
Hier reicht die Property email aus, um einen Kontakt zu identifizieren. Du kannst daher den Modus Selected Properties mit der Property email auswählen.
Wenn Aliasse oder Wrapper zu abweichenden Werten führen, kannst Du diese über den speziellen Workflow für E-Mail-Adressen deduplizieren.
Die Prüfung ist schreibgeschützt. Im Ergebnisbereich siehst Du die Gruppen und den jeweiligen Grund für das Match. Außerdem werden fertige Gruppen von Treffern getrennt, die noch geprüft werden müssen.
Doppelte CSV-Zeilen ohne Zusammenführen entfernen
Wenn Du Duplikate nur entfernen möchtest, wähle im Ergebnisbereich Remove duplicates:
- Prüfe Record to keep. Standardmäßig ist Most Complete ausgewählt; andere Regeln zur Datensatzauswahl erfordern einen kostenpflichtigen Tarif. Die ausgewählte Zeile bleibt unverändert.
- Öffne einige Gruppen und vergleiche die als Keep und Remove markierten Zeilen. Prüfe, ob die zu entfernenden Zeilen eine Telefonnummer, Notiz oder einen aktuelleren Wert enthalten, den Du noch benötigst.
- Sind diese Werte wichtig, wähle Merge and preserve data und folge Schritt 3 weiter unten. Beim reinen Entfernen werden zusätzliche Werte nicht in die beibehaltene Zeile übernommen.
- Wenn die fertigen Gruppen Deinen Erwartungen entsprechen, klicke auf Remove ready duplicates. Prüfe vor der Bestätigung jede Warnung vor möglichem Datenverlust.
Zwei identische Zeilen mit derselben E-Mail-Adresse lassen sich beispielsweise auf eine Zeile reduzieren. Bei zwei Zeilen mit derselben E-Mail-Adresse, aber unterschiedlichen Telefonnummern, musst Du Dich entscheiden: Entweder bleibt ein Datensatz unverändert, oder die Telefonnummern werden im Zieldatensatz zusammengeführt.
Wähle zuerst die Matching-Spalten aus und entscheide erst danach, welche Zeile bestehen bleibt. All Properties findet vollständig identische Zeilen. Mit Selected Properties kannst Du denselben Kontakt auch dann gruppieren, wenn sich Jobtitel oder Telefonnummern unterscheiden. Eine gemeinsame Unternehmenswebsite allein ist als Kriterium zu ungenau, wenn mehrere Kontakte bei diesem Unternehmen arbeiten.
Bewahre Deine ursprünglichen CSV-Dateien auf. Vergleiche nach der Verarbeitung die Anzahl der entfernten Zeilen mit den geprüften Gruppen, kontrolliere die beibehaltenen Kennungen und exportiere die bereinigte Collection als CSV. Zeilen, die noch geprüft werden müssen, können in der Collection verbleiben. Ein abgeschlossener Batch bedeutet daher nicht automatisch, dass jedes mögliche Duplikat bearbeitet wurde.
Schritt 3: Duplikate automatisch zusammenführen
Wähle Merge and preserve data, wenn sekundäre CSV-Zeilen nützliche Werte enthalten. Datablist bestimmt einen Zieldatensatz, füllt leere Properties auf, wendet Deine Konfliktregeln an und löscht anschließend die sekundären Zeilen.
In der Vorschau werden fertige Gruppen von Gruppen mit ungelösten Konflikten getrennt. In der Dokumentation zum Duplicate Finder findest Du alle Einstellungen für Prüfung, Survivorship und Datensatzauswahl.
Klappe Resolve conflicting values auf, um zu sehen, für welche Properties noch eine Regel fehlt.
Zeilen ohne Konflikte zusammenführen
Der Algorithmus "Merge non-conflicting duplicates" führt einen "Smart Merge" aus. Dabei werden Datensätze mit ähnlichen oder sich ergänzenden Werten zusammengeführt.
Die folgenden Duplikate:
email | First Name | Last Name
james@gmail.com | James
james@gmail.com | | Bond
werden beispielsweise so zusammengeführt:
email | First Name | Last Name
james@gmail.com | James | Bond
Werte aus Duplikaten kombinieren
Das Kombinieren oder Konsolidieren doppelter Werte ist ideal, wenn Deine Duplikate widersprüchliche Angaben enthalten, Du sie aber trotzdem ohne Datenverlust zusammenführen möchtest.
Wenn Du beispielsweise die Property Phone mit einem Semikolon kombinierst:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
entsteht daraus:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Alle Properties mit Textinhalt lassen sich kombinieren. Als Trennzeichen stehen line break, semi-colon, comma und space zur Verfügung. Du kannst während des Zusammenführens eine oder mehrere Properties kombinieren.
Das Zusammenführen doppelter Einträge und Kombinieren ihrer Werte eignet sich hervorragend für die Bereinigung von Leads und CRM-Daten. Führe alle doppelten Leads zusammen und kombiniere die Properties Phone, Email und Notes, um eine saubere Liste zu erhalten. Nach dem Export Deiner bereinigten Lead-CSV importierst Du sie einfach wieder in Dein CRM.
Wert des ausgewählten Datensatzes behalten
Diese Regel behält den Wert des ausgewählten Zieldatensatzes bei und verwirft die anderen widersprüchlichen Werte.
Most Complete ist die Standardregel für Record to keep. In kostenpflichtigen Tarifen kannst Du andere Regeln auswählen oder Feldwerte mithilfe von Survivorship-Regeln unabhängig voneinander bestimmen.
Nutze die drop conflicting values option für:
- Technische Properties wie
Account Id, die nur einen einzelnen Wert enthalten dürfen. - Properties vom Typ "Relation", die nicht mehrere Werte enthalten können, zum Beispiel
Lead owneroderAccount. - Properties ohne Textformat, die sich nicht kombinieren lassen, zum Beispiel Datums- und Zeitangaben wie
Last ActivityundContacted onsowie Checkboxen.
Schritt 4: Duplikate manuell zusammenführen
Öffne Review group, wenn Du für eine Duplikatgruppe eine manuelle Entscheidung treffen musst. Mit dem Merging Assistant kannst Du den Zieldatensatz und für jede Property den Wert auswählen, der beibehalten werden soll.
Der manuell ausgewählte Zieldatensatz behält seine Datablist-ID. Die übrigen Zeilen werden zu sekundären Datensätzen.
Prüfe jede Property, wähle die gewünschten Werte aus und bestätige das Zusammenführen. Du kannst außerdem eine Zeile aus der Duplikatgruppe ausschließen oder die gesamte Gruppe überspringen.
Bei Bedarf als CSV exportieren
Geschafft – Du hast Deine CSV-Dateien erfolgreich dedupliziert! Wenn Du das Ergebnis in einem anderen Tool verwenden möchtest, klicke auf den Button "Export", um die Collection als neue CSV-Datei zu exportieren.
FAQ
Welche weiteren Datenoperationen bietet Datablist?
CSV-Dateien werden überall eingesetzt, um strukturierte Daten für Softwareanwendungen oder Datensätze abzubilden. Obwohl das Format allgegenwärtig ist, ist die Bearbeitung von CSV-Dateien oft umständlich und erfordert technisches Know-how.
Für einfache Aufgaben reichen Tabellenprogramme aus. An ihre Grenzen stoßen sie jedoch bei folgenden Aufgaben:
Wenn Du mehrere CSV-Dateien über eine eindeutige Spalte verbinden möchtest, lies den Guide zum Verknüpfen von CSV-Dateien.
Kann Datablist große CSV-Dateien verarbeiten?
Der kostenlose Tarif unterstützt bis zu 1 Million Einträge pro Collection im Browser-Speicher. Kostenpflichtige Tarife ermöglichen den Import von bis zu 2 Millionen Einträgen pro Collection. Große lokale Operationen hängen weiterhin vom verwendeten Browser und Gerät ab. Hier erfährst Du, wie Du große CSV-Dateien online bearbeitest.
Ist die Deduplizierung besser als „Duplikate entfernen“ in Excel und Google Sheets?
Tabellenprogramme wie Microsoft Excel und Google Sheets bieten ebenfalls Funktionen zur Deduplizierung. Diese entfernen ähnliche Zeilen. Für geschäftliche Anwendungsfälle reicht es jedoch oft nicht aus, Zeilen einfach zu löschen.
Datablist zeigt Dir die Duplikatgruppen, bevor die Datei verändert wird. Du kannst überflüssige Zeilen entfernen, sich ergänzende Werte zusammenführen, Konflikte lösen oder unsichere Gruppen unverändert lassen.
Wenn Du Fragen hast, kannst Du uns jederzeit kontaktieren.