Um Feldwerte zu vereinheitlichen, ohne Zeilen zusammenzuführen, suchst Du Datensätze derselben Entität, wählst einen Wert für das Zielfeld aus und überträgst ihn auf die gesamte Gruppe. In Datablist nutzt Du dafür Custom with AI im Duplicates Finder und weist die AI ausdrücklich an, jeden Datensatz beizubehalten.
Ich würde Unternehmensdatensätze zunächst anhand eines zuverlässigen Identifikators wie der Website gruppieren und erst danach die Namen standardisieren. Ein ähnlicher Name allein beweist nicht, dass zwei Unternehmen tatsächlich identisch sind. Wenn die Zeilen getrennt bleiben, werden ihre IDs und Quelldaten beibehalten. Eine falsch zusammengestellte Gruppe kann jedoch dazu führen, dass der falsche Name übertragen wird.
In diesem Guide erfährst Du, wie Du bestimmte Feldwerte innerhalb von Duplikatgruppen normalisierst, ohne die einzelnen Datensätze zusammenzuführen:
- Was ist Datennormalisierung?
- AI Processing im Duplicates Finder
- Daten in Duplikaten normalisieren: Schritt für Schritt
Was ist Datennormalisierung?
Datennormalisierung bedeutet in diesem Zusammenhang, Daten in ein einheitliches Format zu bringen. Bei Duplikaten treten häufig Abweichungen in einzelnen Feldern auf. Zum Beispiel:
- Unternehmensnamen: „Tech Solutions Inc.“, „Tech Solutions, LLC“, „Tech Solutions“
- Jobtitel: „Software Engineer“, „Software Dev.“, „Eng., Software“
- Adressen: „Hauptstraße 123“, „Hauptstr. 123“, „hauptstraße 123“
- Länder: „Deutschland“, „DE“, „Bundesrepublik Deutschland“
Bei der Normalisierung wird ein einziger Standardwert ausgewählt, etwa „Tech Solutions“ oder „Deutschland“, und im entsprechenden Feld auf alle als Duplikate identifizierten Datensätze übertragen.
Dadurch werden Deine Daten sauberer, lassen sich leichter analysieren und liefern zuverlässigere Filter- und Reporting-Ergebnisse – auch wenn die doppelten Datensätze getrennt bleiben. Deshalb ist die Normalisierung ein wichtiger Schritt bei der Datenbereinigung.
AI Processing im Duplicates Finder
Der Duplicates Finder von Datablist ist bereits ein leistungsstarkes Tool, um ähnliche Datensätze zu erkennen. Neben umfangreichen Optionen zum automatischen oder manuellen Zusammenführen von Duplikaten bietet der Modus AI Processing noch mehr Flexibilität.
Statt vordefinierter Merge-Regeln legst Du die Logik mit einem Prompt in natürlicher Sprache fest. So kannst Du der AI genau vorgeben, wie sie mit den Duplikaten umgehen soll. Zum Beispiel kannst Du:
- anhand bestimmter Kriterien einen Master-Datensatz auswählen, etwa den zuletzt aktualisierten;
- einzelne Felder zusammenführen und andere getrennt lassen;
- während des Merges Berechnungen durchführen, beispielsweise Werte addieren;
- 👉 und – für diesen Guide besonders wichtig – ein bestimmtes Feld in allen Duplikaten auf einen einheitlichen Wert setzen, ohne die Datensätze zusammenzuführen.
Damit wird aus einer komplexen, skriptbasierten Datenbearbeitung ein einfacher Dialog mit unserer AI.
Daten in Duplikaten normalisieren: Schritt für Schritt
Sehen wir uns Schritt für Schritt an, wie Du mit AI Processing ein Feld, zum Beispiel den Unternehmensnamen, in doppelten Datensätzen normalisierst.
Schritt 1: Daten vorbereiten
Zuerst müssen Deine Daten in Datablist vorliegen.
- Collection erstellen: Klicke in der Seitenleiste auf den „+“-Button, um eine neue Collection zu erstellen.
- Daten importieren: Importiere Deine Daten aus einer CSV- oder Excel-Datei. Wenn sie aus mehreren Dateien stammen, importierst Du alle in dieselbe Collection. Datablist führt Dich durch die Zuordnung der Spalten zu den Properties. Achte darauf, dass sowohl das zu normalisierende Feld, etwa Company Name, als auch die Felder zur Duplikaterkennung, beispielsweise Email oder Website, korrekt importiert werden.
In diesen Beispieldaten sind bereits doppelte Unternehmensnamen zu sehen, die normalisiert werden müssen.
Schritt 2: Duplikate finden
Jetzt identifizierst Du die doppelten Datensätze.
2.a Duplicates Finder öffnen
Öffne Clean > Merge duplicates.
2.b Identifikatoren für Duplikate auswählen
Wähle die Property oder Properties aus, anhand derer sich ein Duplikat eindeutig erkennen lässt.
Nutze nach Möglichkeit eine gemeinsame Website oder Unternehmens-ID. Wenn Dir nur Namen vorliegen, folge dem Guide zum Abgleich von Unternehmensnamen und prüfe jede Gruppe, bevor Du sie normalisierst. Ähnliche Namen und unterschiedliche Rechtsformzusätze können zu verschiedenen Unternehmen gehören.
Für Unternehmen kannst Du auch
Website URLoderLinkedIn Company Page URLverwenden.Bei Kontakten sind
Phone Numbergängige Optionen.
2.c Matching-Algorithmus konfigurieren
Im nächsten Schritt wählst Du den Matching-Algorithmus aus.
„Smart“ eignet sich häufig für URLs oder E-Mail-Adressen und berücksichtigt kleinere Abweichungen. „Exact“ ist strenger. Für Namen kannst Du außerdem phonetisches oder Fuzzy Matching verwenden.
Wähle den Processor passend zu dem Feld, das Du zur Duplikaterkennung verwendest. Nutze Url für eine Website und Email für eine E-Mail-Adresse. Wähle Company Name, wenn Du Varianten von Unternehmensnamen abgleichst.
Der Processor verändert lediglich, wie Werte verglichen werden. Die gespeicherten Zellen werden nicht bearbeitet. Du kannst hier also nach Website URL gruppieren und im späteren AI-Schritt trotzdem Company Name normalisieren. Der Matching-Identifikator und das Feld, das Du aktualisieren möchtest, erfüllen unterschiedliche Aufgaben.
2.c Duplikatprüfung starten
Klicke auf Run duplicates check.
Datablist analysiert Deine Daten und zeigt Gruppen potenzieller Duplikate an.
Schritt 3: AI Processing auswählen
Wähle auf der Ergebnisseite der Duplikatprüfung Custom with AI aus. Auf den älteren Screenshots unten ist noch die frühere Bezeichnung AI Editing zu sehen. Dieser Modus erstellt anhand Deiner Anweisungen und einer kleinen Stichprobe ein Skript und zeigt anschließend eine Vorschau der Änderungen.
Schritt 4: Prompt für die Normalisierung schreiben
Hier erklärst Du der AI, was sie tun soll. Deine Anweisung sollte Folgendes enthalten:
- Den häufigsten Wert der Ziel-Property innerhalb jeder Duplikatgruppe ermitteln.
- Alle Datensätze der Gruppe in dieser Property mit dem häufigsten Wert aktualisieren.
- Ausdrücklich festlegen, dass keine Datensätze gelöscht werden dürfen.
Hier ist ein Beispiel-Prompt zur Normalisierung der Property /Company Name:
Zähle in jeder Duplikatgruppe die nicht leeren /CompanyName-Werte anhand exakter Textübereinstimmungen. Wenn ein Wert häufiger als jeder andere Wert vorkommt, übertrage ihn in /CompanyName auf jeden Datensatz dieser Gruppe – auch auf Datensätze mit leerem CompanyName.
Wenn alle Werte leer sind oder zwei oder mehr Werte gleich häufig an erster Stelle liegen, überspringe die Gruppe, ohne sie zu verändern. Überspringe außerdem Gruppen, deren Werte bereits identisch sind. Behalte alle anderen Properties unverändert bei und führe keine Datensätze zusammen oder lösche sie.
Der Prompt im Detail:
Normalisiere die Property /CompanyName ...: Legt das Zielfeld fest. Verwende/PropertyNameoder{{PropertyName}}, um auf Deine Spalten zu verweisen.... zähle die nicht leeren Werte anhand exakter Textübereinstimmungen.: Definiert, wie der Standardwert ausgewählt wird. Leere Felder können nicht gewinnen, und Gruppen mit Gleichstand bleiben zur Prüfung unverändert. Du könntest auch andere Kriterien verwenden, etwa „längster Wert“, „kürzester Wert“ oder den Bezug zu einem anderen Feld – zum Beispiel „Verwende den Wert aus dem Datensatz mit dem neuesten /UpdatedAt-Datum“.Überspringe die Gruppe, wenn alle /CompanyName-Werte bereits identisch sind.: Verhindert unnötige Verarbeitungsschritte.Lösche keine Datensätze.: Diese Anweisung ist entscheidend, damit nur Felder aktualisiert und keine Datensätze zusammengeführt oder entfernt werden.
Schritt 5: Skript erstellen und Vorschau prüfen
Klicke auf Generate and preview changes. Die AI von Datablist interpretiert Deinen Prompt und erstellt ein Skript für die gewünschte Aktion.
Keine Sorge: Du musst das Skript weder selbst schreiben noch bearbeiten.
- Script Explanation: Eine verständliche Zusammenfassung dessen, was das Skript tun wird. Prüfe, ob sie Deiner Absicht entspricht.
- Result Preview: Eine Tabelle, die Dir vor der Ausführung genau zeigt, wie das Skript eine Stichprobe Deiner Duplikatgruppen verändern wird. Kontrolliere in der Vorschau das Zielfeld, beispielsweise
/Company Name, und stelle sicher, dass es für alle gezeigten Duplikate den gewünschten normalisierten Wert enthält.
Eine Gruppe mit Acme Ltd, Acme Ltd und Acme Limited sollte beispielsweise drei Zeilen behalten, die anschließend alle Acme Ltd enthalten. Eine Gruppe mit einmal Acme Ltd und einmal Acme Limited sollte unverändert bleiben, weil keiner der Werte häufiger vorkommt. Diese Beispiele dienen als Kontrollfälle für Deine Vorschau und sind keine gemessenen Ergebnisse.
Prüfe sowohl die Werte als auch die Anzahl der Zeilen. Stelle sicher, dass leere Felder nur ausgefüllt werden, wenn es einen eindeutigen häufigsten Wert gibt, Gruppen mit Gleichstand unverändert bleiben und Quell-IDs sowie alle anderen Properties erhalten bleiben.
Schritt 6: Skript ausführen
Wenn Erklärung und Vorschau korrekt aussehen, klicke auf Run AI rules. Datablist führt das generierte Skript auf allen erkannten Duplikatgruppen aus.
Schritt 7: Änderungen prüfen
Sobald das Skript fertig ist, stellt Datablist eine Zusammenfassung und eine herunterladbare Changes List bereit.
Das ist hilfreich, wenn Du die Änderungen in einem externen System nachbilden möchtest, etwa um CRM-Leads zu bearbeiten.
Kehre zur Hauptansicht Deiner Collection zurück. Dort siehst Du, dass das Zielfeld, beispielsweise /CompanyName, nun innerhalb der Duplikatgruppen einheitlich ist, während die einzelnen Datensätze weiterhin getrennt vorliegen.
Du hast ein Feld erfolgreich über mehrere Duplikate hinweg normalisiert, ohne die Datensätze zusammenzuführen! 🚀
Anwendungsfälle für Normalisierung ohne Merge
Wann ist es sinnvoll, ein Feld zu normalisieren, statt die Datensätze vollständig zusammenzuführen?
- Unternehmens- oder Kontaktnamen standardisieren: Bereinige Varianten wie „Beispiel GmbH“, „Beispiel Gesellschaft mbH“ oder „Jon Doe“, „Jonathan Doe“, bevor Du Dich für eine endgültige Merge-Strategie entscheidest.
- Jobtitel bereinigen: Vereinheitliche Bezeichnungen wie „VP Marketing“, „Vice President Marketing“ und „Marketing VP“, um konsistente Reports und Analysen zu erhalten.
- Standorte normalisieren: Sorge für einheitliche Ländernamen wie „DE“ und „Deutschland“ oder Schreibweisen von Bundesländern in doppelten Adressdatensätzen.
- CRM-Import oder -Update vorbereiten: Standardisiere wichtige Felder vor dem Import in ein CRM mit strengen Validierungsregeln – auch wenn Du die Duplikate vorerst behältst.
- Daten-Audit: Bewahre die ursprünglichen Duplikate für Audits oder historische Nachverfolgung auf, aber standardisiere zentrale Identifikatoren für einfachere Analysen.
- Schrittweise Datenbereinigung: Normalisiere im Rahmen eines umfassenderen Datenbereinigungsprozesses jeweils ein Feld, bevor Du Dich für einen vollständigen Merge oder das Löschen entscheidest.
Warum normalisieren statt zusammenführen?
- Detailgrad der Datensätze bleibt erhalten: Die einzelnen Duplikate bleiben bestehen. Das kann wichtig sein, um ihre Herkunft, bestimmte Interaktionen oder historische Daten für jeden Datensatz nachzuverfolgen.
- Unsicherheiten besser handhaben: Sinnvoll, wenn Duplikate nicht vollständig übereinstimmen. Durch die Normalisierung eines Schlüsselfelds erhältst Du konsistente Daten, ohne Datensätze mit anderen abweichenden Angaben möglicherweise falsch zusammenzuführen.
- Schrittweises Vorgehen: Ermöglicht einen kontrollierteren Datenbereinigungsprozess. Normalisiere zuerst und entscheide nach einer Prüfung, ob Du später zusammenführen oder löschen möchtest.
- Einfachheit: Die Aktion bleibt klar begrenzt. Du vereinheitlichst ein einzelnes Feld, ohne die übrigen Daten der Duplikate zu verändern.
Fazit
Beginne mit einer geprüften Gruppe, definiere die Regel zur Auswahl des Werts und kontrolliere die Vorschau. Prüfe nach der Ausführung, ob die Anzahl der Zeilen unverändert ist, und sieh Dir Gruppen an, die wegen eines Gleichstands übersprungen wurden. Anschließend kannst Du einheitliche Namen exportieren und trotzdem jeden Quelldatensatz separat behalten.















