Feldwerte in Duplikaten vereinheitlichen ohne Merge

Florian Poullin
Florian Poullin
10 Min. Lesezeit
Feldwerte vereinheitlichen Zeilen getrennt lassen
Feldwerte in Duplikaten vereinheitlichen ohne Merge
Inhaltsverzeichnis
  1. Was ist Datennormalisierung?
  2. AI Processing im Duplicates Finder
  3. Daten in Duplikaten normalisieren: Schritt für Schritt
    1. Schritt 1: Daten vorbereiten
    2. Schritt 2: Duplikate finden
    3. Schritt 3: AI Processing auswählen
    4. Schritt 4: Prompt für die Normalisierung schreiben
    5. Schritt 5: Skript erstellen und Vorschau prüfen
    6. Schritt 6: Skript ausführen
    7. Schritt 7: Änderungen prüfen
  4. Anwendungsfälle für Normalisierung ohne Merge
  5. Warum normalisieren statt zusammenführen?
  6. Fazit
  7. FAQ

Um Feldwerte zu vereinheitlichen, ohne Zeilen zusammenzuführen, suchst Du Datensätze derselben Entität, wählst einen Wert für das Zielfeld aus und überträgst ihn auf die gesamte Gruppe. In Datablist nutzt Du dafür Custom with AI im Duplicates Finder und weist die AI ausdrücklich an, jeden Datensatz beizubehalten.

Ich würde Unternehmensdatensätze zunächst anhand eines zuverlässigen Identifikators wie der Website gruppieren und erst danach die Namen standardisieren. Ein ähnlicher Name allein beweist nicht, dass zwei Unternehmen tatsächlich identisch sind. Wenn die Zeilen getrennt bleiben, werden ihre IDs und Quelldaten beibehalten. Eine falsch zusammengestellte Gruppe kann jedoch dazu führen, dass der falsche Name übertragen wird.

In diesem Guide erfährst Du, wie Du bestimmte Feldwerte innerhalb von Duplikatgruppen normalisierst, ohne die einzelnen Datensätze zusammenzuführen:

Was ist Datennormalisierung?

Datennormalisierung bedeutet in diesem Zusammenhang, Daten in ein einheitliches Format zu bringen. Bei Duplikaten treten häufig Abweichungen in einzelnen Feldern auf. Zum Beispiel:

  • Unternehmensnamen: „Tech Solutions Inc.“, „Tech Solutions, LLC“, „Tech Solutions“
  • Jobtitel: „Software Engineer“, „Software Dev.“, „Eng., Software“
  • Adressen: „Hauptstraße 123“, „Hauptstr. 123“, „hauptstraße 123“
  • Länder: „Deutschland“, „DE“, „Bundesrepublik Deutschland“

Bei der Normalisierung wird ein einziger Standardwert ausgewählt, etwa „Tech Solutions“ oder „Deutschland“, und im entsprechenden Feld auf alle als Duplikate identifizierten Datensätze übertragen.

Dadurch werden Deine Daten sauberer, lassen sich leichter analysieren und liefern zuverlässigere Filter- und Reporting-Ergebnisse – auch wenn die doppelten Datensätze getrennt bleiben. Deshalb ist die Normalisierung ein wichtiger Schritt bei der Datenbereinigung.

AI Processing im Duplicates Finder

Der Duplicates Finder von Datablist ist bereits ein leistungsstarkes Tool, um ähnliche Datensätze zu erkennen. Neben umfangreichen Optionen zum automatischen oder manuellen Zusammenführen von Duplikaten bietet der Modus AI Processing noch mehr Flexibilität.

Statt vordefinierter Merge-Regeln legst Du die Logik mit einem Prompt in natürlicher Sprache fest. So kannst Du der AI genau vorgeben, wie sie mit den Duplikaten umgehen soll. Zum Beispiel kannst Du:

  • anhand bestimmter Kriterien einen Master-Datensatz auswählen, etwa den zuletzt aktualisierten;
  • einzelne Felder zusammenführen und andere getrennt lassen;
  • während des Merges Berechnungen durchführen, beispielsweise Werte addieren;
  • 👉 und – für diesen Guide besonders wichtig – ein bestimmtes Feld in allen Duplikaten auf einen einheitlichen Wert setzen, ohne die Datensätze zusammenzuführen.

Damit wird aus einer komplexen, skriptbasierten Datenbearbeitung ein einfacher Dialog mit unserer AI.

Daten in Duplikaten normalisieren: Schritt für Schritt

Sehen wir uns Schritt für Schritt an, wie Du mit AI Processing ein Feld, zum Beispiel den Unternehmensnamen, in doppelten Datensätzen normalisierst.

Schritt 1: Daten vorbereiten

Zuerst müssen Deine Daten in Datablist vorliegen.

  1. Collection erstellen: Klicke in der Seitenleiste auf den „+“-Button, um eine neue Collection zu erstellen.
Collection in Datablist erstellen
Collection in Datablist erstellen
  1. Daten importieren: Importiere Deine Daten aus einer CSV- oder Excel-Datei. Wenn sie aus mehreren Dateien stammen, importierst Du alle in dieselbe Collection. Datablist führt Dich durch die Zuordnung der Spalten zu den Properties. Achte darauf, dass sowohl das zu normalisierende Feld, etwa Company Name, als auch die Felder zur Duplikaterkennung, beispielsweise Email oder Website, korrekt importiert werden.
Datensatz aus CSV oder Excel importieren
Datensatz aus CSV oder Excel importieren

In diesen Beispieldaten sind bereits doppelte Unternehmensnamen zu sehen, die normalisiert werden müssen.

Importierte Daten und Properties prüfen
Importierte Daten und Properties prüfen

Schritt 2: Duplikate finden

Jetzt identifizierst Du die doppelten Datensätze.

2.a Duplicates Finder öffnen

Öffne Clean > Merge duplicates.

Duplicates Finder öffnen
Duplicates Finder öffnen

2.b Identifikatoren für Duplikate auswählen

Wähle die Property oder Properties aus, anhand derer sich ein Duplikat eindeutig erkennen lässt.

Nutze nach Möglichkeit eine gemeinsame Website oder Unternehmens-ID. Wenn Dir nur Namen vorliegen, folge dem Guide zum Abgleich von Unternehmensnamen und prüfe jede Gruppe, bevor Du sie normalisierst. Ähnliche Namen und unterschiedliche Rechtsformzusätze können zu verschiedenen Unternehmen gehören.

Properties zur Erkennung von Duplikaten auswählen
Properties zur Erkennung von Duplikaten auswählen

Für Unternehmen kannst Du auch Website URL oder LinkedIn Company Page URL verwenden.

Bei Kontakten sind Email oder Phone Number gängige Optionen.

2.c Matching-Algorithmus konfigurieren

Im nächsten Schritt wählst Du den Matching-Algorithmus aus.

„Smart“ eignet sich häufig für URLs oder E-Mail-Adressen und berücksichtigt kleinere Abweichungen. „Exact“ ist strenger. Für Namen kannst Du außerdem phonetisches oder Fuzzy Matching verwenden.

Wähle den Processor passend zu dem Feld, das Du zur Duplikaterkennung verwendest. Nutze Url für eine Website und Email für eine E-Mail-Adresse. Wähle Company Name, wenn Du Varianten von Unternehmensnamen abgleichst.

Der Processor verändert lediglich, wie Werte verglichen werden. Die gespeicherten Zellen werden nicht bearbeitet. Du kannst hier also nach Website URL gruppieren und im späteren AI-Schritt trotzdem Company Name normalisieren. Der Matching-Identifikator und das Feld, das Du aktualisieren möchtest, erfüllen unterschiedliche Aufgaben.

Matching-Algorithmus und Processor konfigurieren
Matching-Algorithmus und Processor konfigurieren

2.c Duplikatprüfung starten

Klicke auf Run duplicates check.

Datablist analysiert Deine Daten und zeigt Gruppen potenzieller Duplikate an.

Gefundene Duplikatgruppen prüfen
Gefundene Duplikatgruppen prüfen

Schritt 3: AI Processing auswählen

Wähle auf der Ergebnisseite der Duplikatprüfung Custom with AI aus. Auf den älteren Screenshots unten ist noch die frühere Bezeichnung AI Editing zu sehen. Dieser Modus erstellt anhand Deiner Anweisungen und einer kleinen Stichprobe ein Skript und zeigt anschließend eine Vorschau der Änderungen.

Schritt 4: Prompt für die Normalisierung schreiben

Hier erklärst Du der AI, was sie tun soll. Deine Anweisung sollte Folgendes enthalten:

  1. Den häufigsten Wert der Ziel-Property innerhalb jeder Duplikatgruppe ermitteln.
  2. Alle Datensätze der Gruppe in dieser Property mit dem häufigsten Wert aktualisieren.
  3. Ausdrücklich festlegen, dass keine Datensätze gelöscht werden dürfen.

Hier ist ein Beispiel-Prompt zur Normalisierung der Property /Company Name:

Dedupe Prompt

Zähle in jeder Duplikatgruppe die nicht leeren /CompanyName-Werte anhand exakter Textübereinstimmungen. Wenn ein Wert häufiger als jeder andere Wert vorkommt, übertrage ihn in /CompanyName auf jeden Datensatz dieser Gruppe – auch auf Datensätze mit leerem CompanyName.

Wenn alle Werte leer sind oder zwei oder mehr Werte gleich häufig an erster Stelle liegen, überspringe die Gruppe, ohne sie zu verändern. Überspringe außerdem Gruppen, deren Werte bereits identisch sind. Behalte alle anderen Properties unverändert bei und führe keine Datensätze zusammen oder lösche sie.

AI-Prompt mit der Normalisierungslogik schreiben
AI-Prompt mit der Normalisierungslogik schreiben

Der Prompt im Detail:

  • Normalisiere die Property /CompanyName ...: Legt das Zielfeld fest. Verwende /PropertyName oder {{PropertyName}}, um auf Deine Spalten zu verweisen.
  • ... zähle die nicht leeren Werte anhand exakter Textübereinstimmungen.: Definiert, wie der Standardwert ausgewählt wird. Leere Felder können nicht gewinnen, und Gruppen mit Gleichstand bleiben zur Prüfung unverändert. Du könntest auch andere Kriterien verwenden, etwa „längster Wert“, „kürzester Wert“ oder den Bezug zu einem anderen Feld – zum Beispiel „Verwende den Wert aus dem Datensatz mit dem neuesten /UpdatedAt-Datum“.
  • Überspringe die Gruppe, wenn alle /CompanyName-Werte bereits identisch sind.: Verhindert unnötige Verarbeitungsschritte.
  • Lösche keine Datensätze.: Diese Anweisung ist entscheidend, damit nur Felder aktualisiert und keine Datensätze zusammengeführt oder entfernt werden.
Property im Prompt mit der Syntax /PropertyName auswählen
Property im Prompt mit der Syntax /PropertyName auswählen

Schritt 5: Skript erstellen und Vorschau prüfen

Klicke auf Generate and preview changes. Die AI von Datablist interpretiert Deinen Prompt und erstellt ein Skript für die gewünschte Aktion.

Prompt absenden und auf das AI-Skript warten
Prompt absenden und auf das AI-Skript warten

Keine Sorge: Du musst das Skript weder selbst schreiben noch bearbeiten.

  • Script Explanation: Eine verständliche Zusammenfassung dessen, was das Skript tun wird. Prüfe, ob sie Deiner Absicht entspricht.
  • Result Preview: Eine Tabelle, die Dir vor der Ausführung genau zeigt, wie das Skript eine Stichprobe Deiner Duplikatgruppen verändern wird. Kontrolliere in der Vorschau das Zielfeld, beispielsweise /Company Name, und stelle sicher, dass es für alle gezeigten Duplikate den gewünschten normalisierten Wert enthält.

Eine Gruppe mit Acme Ltd, Acme Ltd und Acme Limited sollte beispielsweise drei Zeilen behalten, die anschließend alle Acme Ltd enthalten. Eine Gruppe mit einmal Acme Ltd und einmal Acme Limited sollte unverändert bleiben, weil keiner der Werte häufiger vorkommt. Diese Beispiele dienen als Kontrollfälle für Deine Vorschau und sind keine gemessenen Ergebnisse.

Prüfe sowohl die Werte als auch die Anzahl der Zeilen. Stelle sicher, dass leere Felder nur ausgefüllt werden, wenn es einen eindeutigen häufigsten Wert gibt, Gruppen mit Gleichstand unverändert bleiben und Quell-IDs sowie alle anderen Properties erhalten bleiben.

Skripterklärung lesen und Änderungen prüfen
Skripterklärung lesen und Änderungen prüfen

Schritt 6: Skript ausführen

Wenn Erklärung und Vorschau korrekt aussehen, klicke auf Run AI rules. Datablist führt das generierte Skript auf allen erkannten Duplikatgruppen aus.

Generiertes Skript ausführen
Generiertes Skript ausführen

Schritt 7: Änderungen prüfen

Sobald das Skript fertig ist, stellt Datablist eine Zusammenfassung und eine herunterladbare Changes List bereit.

Das ist hilfreich, wenn Du die Änderungen in einem externen System nachbilden möchtest, etwa um CRM-Leads zu bearbeiten.

Liste der vorgenommenen Änderungen herunterladen
Liste der vorgenommenen Änderungen herunterladen

Kehre zur Hauptansicht Deiner Collection zurück. Dort siehst Du, dass das Zielfeld, beispielsweise /CompanyName, nun innerhalb der Duplikatgruppen einheitlich ist, während die einzelnen Datensätze weiterhin getrennt vorliegen.

Finale Daten mit normalisierten Werten prüfen
Finale Daten mit normalisierten Werten prüfen

Du hast ein Feld erfolgreich über mehrere Duplikate hinweg normalisiert, ohne die Datensätze zusammenzuführen! 🚀

Anwendungsfälle für Normalisierung ohne Merge

Wann ist es sinnvoll, ein Feld zu normalisieren, statt die Datensätze vollständig zusammenzuführen?

  • Unternehmens- oder Kontaktnamen standardisieren: Bereinige Varianten wie „Beispiel GmbH“, „Beispiel Gesellschaft mbH“ oder „Jon Doe“, „Jonathan Doe“, bevor Du Dich für eine endgültige Merge-Strategie entscheidest.
  • Jobtitel bereinigen: Vereinheitliche Bezeichnungen wie „VP Marketing“, „Vice President Marketing“ und „Marketing VP“, um konsistente Reports und Analysen zu erhalten.
  • Standorte normalisieren: Sorge für einheitliche Ländernamen wie „DE“ und „Deutschland“ oder Schreibweisen von Bundesländern in doppelten Adressdatensätzen.
  • CRM-Import oder -Update vorbereiten: Standardisiere wichtige Felder vor dem Import in ein CRM mit strengen Validierungsregeln – auch wenn Du die Duplikate vorerst behältst.
  • Daten-Audit: Bewahre die ursprünglichen Duplikate für Audits oder historische Nachverfolgung auf, aber standardisiere zentrale Identifikatoren für einfachere Analysen.
  • Schrittweise Datenbereinigung: Normalisiere im Rahmen eines umfassenderen Datenbereinigungsprozesses jeweils ein Feld, bevor Du Dich für einen vollständigen Merge oder das Löschen entscheidest.

Warum normalisieren statt zusammenführen?

  • Detailgrad der Datensätze bleibt erhalten: Die einzelnen Duplikate bleiben bestehen. Das kann wichtig sein, um ihre Herkunft, bestimmte Interaktionen oder historische Daten für jeden Datensatz nachzuverfolgen.
  • Unsicherheiten besser handhaben: Sinnvoll, wenn Duplikate nicht vollständig übereinstimmen. Durch die Normalisierung eines Schlüsselfelds erhältst Du konsistente Daten, ohne Datensätze mit anderen abweichenden Angaben möglicherweise falsch zusammenzuführen.
  • Schrittweises Vorgehen: Ermöglicht einen kontrollierteren Datenbereinigungsprozess. Normalisiere zuerst und entscheide nach einer Prüfung, ob Du später zusammenführen oder löschen möchtest.
  • Einfachheit: Die Aktion bleibt klar begrenzt. Du vereinheitlichst ein einzelnes Feld, ohne die übrigen Daten der Duplikate zu verändern.

Fazit

Beginne mit einer geprüften Gruppe, definiere die Regel zur Auswahl des Werts und kontrolliere die Vorschau. Prüfe nach der Ausführung, ob die Anzahl der Zeilen unverändert ist, und sieh Dir Gruppen an, die wegen eines Gleichstands übersprungen wurden. Anschließend kannst Du einheitliche Namen exportieren und trotzdem jeden Quelldatensatz separat behalten.

FAQ

  1. Ist AI Processing in meinem Datablist-Tarif enthalten? AI Processing – einschließlich der Erstellung und Ausführung von Skripten zur Normalisierung – ist in den kostenpflichtigen Datablist-Tarifen verfügbar. Weitere Informationen findest Du auf unserer Preisseite.

  2. Kann ich mehrere Felder mit einem Prompt normalisieren? Ja, Du kannst einen Prompt schreiben, der mehrere Felder gleichzeitig normalisiert. Zum Beispiel: „Normalisiere die Property /Company Name mit dem häufigsten Wert jeder Gruppe. Normalisiere die Property /Country mit dem häufigsten Wert jeder Gruppe. Lösche keine Datensätze.“

  3. Was passiert, wenn die AI meinen Prompt falsch versteht? Prüfe die Skripterklärung und die Ergebnisse in der Vorschau immer sorgfältig, bevor Du das Skript ausführst. Wenn die Vorschau nicht stimmt, formuliere Deinen Prompt klarer und genauer und lasse das Skript anschließend neu erstellen.

  4. Kann ich die Änderungen des AI-Skripts rückgängig machen? Nach der Ausführung werden die Änderungen direkt übernommen. Datablist bietet zwar eine Undo-Funktion für kürzlich ausgeführte Aktionen innerhalb derselben Session. Trotzdem solltest Du Deine Collection vor größeren Datentransformationen wie dieser klonen, damit Du bei Bedarf auf den vorherigen Stand zurückkehren kannst.

  5. Worin unterscheidet sich das von der Standardoption „Combine conflicting properties“? Die Standardoption „Combine“ führt doppelte Datensätze zu einem Master-Datensatz zusammen und verkettet voneinander abweichende Textwerte in einem Feld. AI Processing hingegen aktualisiert mit dem passenden Prompt das Feld in allen Duplikaten auf einen ausgewählten Wert und lässt sämtliche Datensätze getrennt. Datensätze werden weder zusammengeführt noch Werte verkettet, sofern Du das nicht ausdrücklich im Prompt vorgibst.