Feldwerte in Duplikaten vereinheitlichen ohne Merge

Um Feldwerte zu vereinheitlichen, ohne Zeilen zusammenzuführen, suchst Du Datensätze derselben Entität, wählst einen Wert für das Zielfeld aus und überträgst ihn auf die gesamte Gruppe. In Datablist nutzt Du dafür Custom with AI im Duplicates Finder und weist das Tool ausdrücklich an, jeden Datensatz beizubehalten.

Ich würde Unternehmensdatensätze anhand einer verlässlichen Kennung wie der Website gruppieren, bevor ich ihre Namen standardisiere. Ein ähnlicher Name allein beweist nicht, dass zwei Unternehmen tatsächlich identisch sind. Wenn die Zeilen getrennt bleiben, bleiben auch ihre IDs und Quelldaten erhalten. Eine falsch gebildete Gruppe kann jedoch trotzdem dazu führen, dass der falsche Name übernommen wird.

In diesem Leitfaden erfährst Du, wie Du bestimmte Feldwerte innerhalb von Duplikatgruppen normalisierst, ohne die einzelnen Datensätze zusammenzuführen:

• Was bedeutet Datennormalisierung?
• AI Processing im Duplicates Finder
• Daten in Duplikaten normalisieren: Schritt für Schritt

Was bedeutet Datennormalisierung?

Datennormalisierung bedeutet in diesem Zusammenhang, Daten in ein einheitliches Format zu bringen. Bei Duplikaten treten häufig Abweichungen in einzelnen Feldern auf. Zum Beispiel:

• Unternehmensnamen: „Tech Solutions Inc.“, „Tech Solutions, LLC“, „Tech Solutions“
• Jobtitel: „Software Engineer“, „Software Dev.“, „Eng., Software“
• Adressen: „Hauptstraße 123“, „Hauptstr. 123“, „hauptstraße 123“
• Länder: „DE“, „Deutschland“, „Bundesrepublik Deutschland“

Ziel der Normalisierung ist es, einen einzigen Standardwert wie „Tech Solutions“ oder „Deutschland“ auszuwählen und ihn im betreffenden Feld auf alle als Duplikate erkannten Datensätze anzuwenden.

Dadurch werden Deine Daten sauberer, leichter analysierbar und zuverlässiger für Filter und Reports – auch wenn die doppelten Datensätze weiterhin getrennt bleiben. Dieser Vorgang ist ein wichtiger Bestandteil der Datenbereinigung.

AI Processing im Duplicates Finder

Der Duplicates Finder von Datablist ist bereits ein leistungsstarkes Tool, um ähnliche Datensätze zu erkennen. Neben umfassenden Optionen zum automatischen oder manuellen Zusammenführen von Duplikaten bietet der Modus AI Processing zusätzliche Flexibilität.

Anstelle vordefinierter Merge-Regeln kannst Du die gewünschte Logik mit einem Prompt in natürlicher Sprache festlegen. So sagst Du der AI genau, wie sie mit den Duplikaten umgehen soll. Dazu gehören Aufgaben wie:

• Einen Master-Datensatz anhand bestimmter Kriterien auswählen, etwa nach dem neuesten Aktualisierungsdatum.
• Bestimmte Felder zusammenführen und andere getrennt lassen.
• Beim Merge Berechnungen durchführen, beispielsweise Werte addieren.
• 👉 Und für diesen Leitfaden besonders wichtig: Ein bestimmtes Feld in allen Duplikaten auf einen einheitlichen, normalisierten Wert aktualisieren, ohne die Datensätze zusammenzuführen.

Damit wird aus einer komplexen, normalerweise per Skript gelösten Datenbearbeitung ein einfacher Dialog mit unserer AI.

Daten in Duplikaten normalisieren: Schritt für Schritt

Sehen wir uns Schritt für Schritt an, wie Du mit AI Processing ein Feld wie den Unternehmensnamen in doppelten Datensätzen normalisierst.

Schritt 1: Daten vorbereiten

Zuerst musst Du Deine Daten in Datablist bereitstellen.

1. Collection erstellen: Klicke in der Seitenleiste auf den „+“-Button, um eine neue Collection anzulegen.

2. Daten importieren: Importiere Deine Daten aus einer CSV- oder Excel-Datei. Falls Deine Daten aus mehreren Dateien stammen, importierst Du sie in dieselbe Collection. Datablist führt Dich durch die Zuordnung der Spalten zu den Properties. Achte darauf, dass sowohl das zu normalisierende Feld, beispielsweise Company Name, als auch die Felder zur Erkennung von Duplikaten, etwa Email oder Website, korrekt importiert werden.

In diesen Beispieldaten sind bereits doppelte Unternehmensnamen zu sehen, die normalisiert werden müssen.

Schritt 2: Duplikate finden

Jetzt ermittelst Du die doppelten Datensätze.

2.a Duplicates Finder öffnen

Öffne Clean > Merge duplicates.

2.b Kennungen für die Duplikatsuche auswählen

Wähle die Property oder Properties aus, anhand derer sich Duplikate eindeutig erkennen lassen.

Nutze nach Möglichkeit eine gemeinsame Website oder Unternehmens-ID. Wenn Du nur Namen hast, orientiere Dich am Leitfaden zum Abgleich von Unternehmensnamen und prüfe jede Gruppe, bevor Du sie normalisierst. Ähnliche Namen und unterschiedliche Rechtsformzusätze können zu eigenständigen Unternehmen gehören.

Bei Unternehmen kannst Du auch Website URL oder LinkedIn Company Page URL verwenden.

Bei Kontakten sind Email und Phone Number gängige Optionen.

2.c Algorithmus konfigurieren

Wähle im nächsten Schritt den Matching-Algorithmus aus.

„Smart“ eignet sich häufig gut für URLs oder E-Mail-Adressen, da kleinere Abweichungen berücksichtigt werden. „Exact“ ist strenger. Für Namen kannst Du außerdem phonetisches oder unscharfes Matching verwenden.

Wähle zusätzlich den Processor, der zu Deinen Daten passt.

Hier wähle ich den Company Name Processor, um typische Varianten von Unternehmensnamen wie Rechtsformzusätze oder geografische Bezeichnungen korrekt zu verarbeiten.

2.c Prüfung starten

Klicke auf Run duplicates check.

Datablist analysiert Deine Daten und zeigt Gruppen potenzieller Duplikate an.

Schritt 3: AI Processing auswählen

Wähle auf der Ergebnisseite Custom with AI aus. Die älteren Screenshots unten zeigen noch die frühere Bezeichnung AI Editing. Dieser Modus erstellt anhand Deiner Anweisungen und einer kleinen Auswahl von Datensätzen ein Skript und zeigt anschließend eine Vorschau der Änderungen.

Schritt 4: Prompt für die Normalisierung schreiben

Hier erklärst Du der AI, was sie tun soll. Deine Anweisung muss Folgendes enthalten:

1. Den häufigsten Wert der Ziel-Property innerhalb jeder Duplikatgruppe ermitteln.
2. Alle Datensätze der Gruppe so aktualisieren, dass diese bestimmte Property den häufigsten Wert verwendet.
3. Ausdrücklich festlegen, dass keine Datensätze gelöscht werden dürfen.

Hier ist ein Beispiel-Prompt zur Normalisierung der Property /Company Name:

Der Prompt im Detail:

• Normalisiere die Property /CompanyName ...: Legt das Zielfeld fest. Verwende /PropertyName oder {{PropertyName}}, um auf Deine Spalten zu verweisen.
• ... zähle die nicht leeren Werte anhand exakter Textübereinstimmungen.: Definiert, wie der Standardwert ausgewählt wird. Leere Werte können nicht gewinnen, und Gruppen mit Gleichstand bleiben zur manuellen Prüfung unverändert. Du kannst auch andere Kriterien verwenden, etwa „längster Wert“, „kürzester Wert“ oder ein weiteres Feld einbeziehen, zum Beispiel: „Verwende den Wert des Datensatzes mit dem neuesten Datum in /UpdatedAt“.
• Überspringe die Gruppe, wenn alle Werte in /CompanyName bereits identisch sind.: Verhindert unnötige Verarbeitungsschritte.
• Lösche keine Datensätze.: Diese Anweisung ist entscheidend, damit nur Felder aktualisiert und keine Datensätze zusammengeführt oder entfernt werden.

Schritt 5: Skript erstellen und Vorschau prüfen

Klicke auf Generate and preview changes. Die AI von Datablist interpretiert Deinen Prompt und erstellt ein Skript, das die gewünschte Aktion ausführt.

Keine Sorge: Du musst selbst kein Skript schreiben oder bearbeiten.

• Script Explanation: Eine leicht verständliche Zusammenfassung dessen, was das Skript tun wird. Prüfe, ob sie Deiner Absicht entspricht.
• Result Preview: Eine Tabelle, die genau zeigt, wie das Skript eine Auswahl Deiner Duplikatgruppen verändern wird – bevor Änderungen vorgenommen werden. Kontrolliere das Zielfeld, zum Beispiel /Company Name, und stelle sicher, dass in den Beispieldatensätzen überall der gewünschte normalisierte Wert erscheint.

Eine Gruppe mit Acme Ltd, Acme Ltd und Acme Limited sollte beispielsweise weiterhin aus drei Zeilen bestehen, die nun alle Acme Ltd enthalten. Eine Gruppe mit einmal Acme Ltd und einmal Acme Limited sollte unverändert bleiben, weil keiner der Werte häufiger vorkommt. Das sind beispielhafte Prüffälle für Deine Vorschau, keine gemessenen Ergebnisse.

Prüfe sowohl die Werte als auch die Anzahl der Zeilen. Vergewissere Dich, dass leere Werte nur bei einem eindeutigen Gewinner ausgefüllt werden, Gruppen mit Gleichstand unverändert bleiben und Quell-IDs sowie nicht betroffene Properties erhalten bleiben.

Schritt 6: Skript ausführen

Wenn Erklärung und Vorschau korrekt aussehen, klicke auf Run AI rules. Datablist führt das erstellte Skript für alle erkannten Duplikatgruppen aus.

Schritt 7: Änderungen prüfen

Nach Abschluss des Skripts zeigt Datablist eine Zusammenfassung und eine herunterladbare Changes List an.

Das ist praktisch, wenn Du die Änderungen in einem externen System nachbilden möchtest, beispielsweise um CRM-Leads zu bearbeiten.

Wechsle zurück zur Hauptansicht Deiner Collection. Dort siehst Du, dass das Zielfeld, beispielsweise /CompanyName, innerhalb der Duplikatgruppen nun einheitlich ist, während die Datensätze selbst weiterhin getrennt vorliegen.

Du hast ein Feld erfolgreich über mehrere Duplikate hinweg normalisiert, ohne Datensätze zusammenzuführen! 🚀

Anwendungsfälle für Normalisierung ohne Merge

Wann ist es sinnvoll, ein Feld zu normalisieren, statt einen vollständigen Merge durchzuführen?

• Unternehmens- oder Kontaktnamen standardisieren: Bereinige Varianten wie „Example Ltd“, „Example Limited“ oder „Jon Doe“, „Jonathan Doe“, bevor Du Dich für eine endgültige Merge-Strategie entscheidest.
• Jobtitel bereinigen: Vereinheitliche Bezeichnungen wie „VP Marketing“, „Vice President Marketing“ und „Marketing VP“, damit Reports und Analysen konsistent bleiben.
• Standorte normalisieren: Sorge bei doppelten Adressdatensätzen für einheitliche Ländernamen wie „DE“ und „Deutschland“ oder Schreibweisen von Bundesländern wie „NRW“ und „Nordrhein-Westfalen“.
• CRM-Import oder -Update vorbereiten: Standardisiere wichtige Felder vor dem Import in ein CRM mit strengen Validierungsregeln – auch wenn Du die Duplikate vorerst behalten möchtest.
• Daten-Audits durchführen: Bewahre die ursprünglichen doppelten Datensätze für Audits oder historische Auswertungen auf, aber standardisiere wichtige Kennungen für eine leichtere Analyse.
• Schrittweise Datenbereinigung: Normalisiere im Rahmen eines größeren Datenbereinigungsprozesses jeweils ein Feld, bevor Du Dich für einen vollständigen Merge oder das Löschen von Datensätzen entscheidest.

Warum normalisieren statt zusammenführen?

• Detailtiefe der Datensätze bleibt erhalten: Die einzelnen Duplikate bleiben bestehen. Das kann wichtig sein, um Quellen, bestimmte Interaktionen oder historische Daten jedes Datensatzes nachzuverfolgen.
• Unsicherheiten lassen sich besser handhaben: Diese Methode ist hilfreich, wenn Duplikate nicht vollständig übereinstimmen. Die Normalisierung eines Schlüsselfelds schafft Konsistenz, ohne möglicherweise unterschiedliche Datensätze fälschlich zusammenzuführen.
• Kontrolliertes Vorgehen: Du kannst Deine Daten schrittweise bereinigen. Normalisiere sie zuerst, prüfe das Ergebnis und entscheide später, ob Du Datensätze zusammenführen oder löschen möchtest.
• Einfacher, gezielter Eingriff: Du vereinheitlichst ein bestimmtes Feld, ohne die übrigen Daten in den doppelten Datensätzen zu verändern.

Fazit

Beginne mit einer geprüften Gruppe, definiere die Regel zur Auswahl des Werts und kontrolliere die Vorschau. Vergewissere Dich nach der Ausführung, dass sich die Anzahl der Zeilen nicht verändert hat, und prüfe die wegen eines Gleichstands übersprungenen Gruppen. Anschließend kannst Du einheitliche Namen exportieren und zugleich jeden Quelldatensatz getrennt beibehalten.

FAQ

1. Ist AI Processing in meinem Datablist-Tarif enthalten? AI Processing, einschließlich der Erstellung und Ausführung von Skripten zur Normalisierung, ist in den kostenpflichtigen Datablist-Tarifen verfügbar. Weitere Informationen findest Du auf unserer Preisseite.

2. Kann ich mehrere Felder mit einem Prompt normalisieren? Ja, Du kannst einen Prompt schreiben, der mehrere Felder gleichzeitig normalisiert. Zum Beispiel: „Normalisiere die Property /Company Name anhand des häufigsten Werts jeder Gruppe. Normalisiere die Property /Country anhand des häufigsten Werts jeder Gruppe. Lösche keine Datensätze.“

3. Was kann ich tun, wenn die AI meinen Prompt falsch versteht? Prüfe die Skripterklärung und die Vorschau immer sorgfältig, bevor Du das Skript ausführst. Wenn die Vorschau nicht stimmt, formuliere Deinen Prompt klarer und genauer und lass das Skript anschließend neu erstellen.

4. Kann ich die Änderungen des AI-Skripts rückgängig machen? Sobald das Skript ausgeführt wurde, werden die Änderungen direkt übernommen. Datablist bietet zwar eine Undo-Funktion für kürzlich ausgeführte Aktionen innerhalb derselben Session. Trotzdem solltest Du Deine Collection vor größeren Datentransformationen wie dieser am besten klonen, damit Du bei Bedarf zum vorherigen Stand zurückkehren kannst.

5. Wie unterscheidet sich das von der Standardoption „Combine conflicting properties“? Die Standardoption „Combine“ führt doppelte Datensätze zu einem Master-Datensatz zusammen und verkettet widersprüchliche Textwerte in einem einzigen Feld. AI Processing aktualisiert mit dem richtigen Prompt dagegen das Feld in allen doppelten Datensätzen auf einen ausgewählten Wert und hält sämtliche Datensätze getrennt. Datensätze werden weder zusammengeführt noch Werte verkettet, sofern Du dies nicht ausdrücklich im Prompt verlangst.