Duplikate zusammenführen und Zahlenwerte addieren

Um Duplikate zusammenzuführen und Zahlenwerte zu addieren, gruppierst Du Zeilen anhand einer stabilen Kennung wie SKU, wählst den Datensatz aus, den Du behalten möchtest, und addierst die Zahlenwerte aller Einträge in dieser Gruppe. Mit dem Duplicates Finder von Datablist kannst Du diese Regeln beschreiben, das generierte Skript in der Vorschau prüfen und anschließend anwenden.

Prüfe zuerst, wofür jede Zeile steht. Addiere getrennte Beiträge, etwa Bestände in unterschiedlichen Lagern. Wenn zwei Zeilen wiederholte Exporte desselben Lagerbestands sind, würdest Du den Bestand durch das Addieren doppelt zählen. Behalte stattdessen den neuesten Stand.

Drei Zeilen für die SKU A-100 mit Beständen von 12, 8 und 5 aus drei verschiedenen Lagern sollten beispielsweise eine Zeile mit einem Bestand von 25 ergeben. Berücksichtige Lager- oder Transaktionskennungen, wenn Du prüfst, ob ein Beitrag bereits gezählt wurde.

In dieser Anleitung erfährst Du Schritt für Schritt, wie Du Zahlenwerte beim Zusammenführen von Duplikaten addierst:

• Daten vorbereiten
• Duplikate finden
• Werte beim Zusammenführen mit AI Processing addieren

Daten vorbereiten

Bevor Du Werte zusammenführen und addieren kannst, musst Du Deine Daten in Datablist importieren. Erstelle dafür zunächst eine Collection und importiere Deine Datei.

Schritt 1: Eine Collection erstellen

In Datablist organisierst Du Deine Daten in Collections. Du kannst sie Dir wie intelligente Tabellen vorstellen. Klicke in der Seitenleiste auf „+“ oder auf dem Startbildschirm auf „Start with a CSV/Excel file“, um eine neue Collection zu erstellen.

Schritt 2: Deine Datei importieren

Du kannst Daten aus verschiedenen Quellen importieren. Für dieses Beispiel verwenden wir eine CSV- oder Excel-Datei. Klicke auf „Import CSV/Excel“ und lade Deine Datei hoch.

Datablist unterstützt große Dateien. Auch Hunderttausende Zeilen sind also kein Problem.

Datablist erkennt Spaltentypen wie Text, Number, Date und Email automatisch.

⚠️ Wichtig: Achte darauf, dass die Spalte, deren Werte Du addieren möchtest, zum Beispiel /Stock, korrekt als Typ Number erkannt wurde. Falls nicht, kannst Du den Typ während des Imports manuell ändern.

Schritt 3: Importierte Daten prüfen

Wirf nach Abschluss des Imports einen kurzen Blick auf Deine Collection und prüfe, ob alles stimmt. Deine Zeilen und Spalten sollten jetzt für die Datenbereinigung bereit sein.

Duplikate finden

Nachdem Deine Daten geladen sind, kannst Du nach Duplikaten suchen.

Schritt 4: Duplicates Finder starten

Öffne Clean > Merge duplicates.

Schritt 5: Kennung zur Deduplizierung auswählen

Du musst Datablist mitteilen, woran doppelte Einträge erkannt werden sollen.

Wähle die Eigenschaft aus, die einen Eintrag in Deiner Liste eindeutig identifiziert. Das kann eine Email-Adresse, eine Product SKU, ein Company Name oder eine Kombination mehrerer Felder sein.

In diesem Bestandsbeispiel gruppierst Du dasselbe Produkt anhand der SKU. Ein Produktname allein kann auch bei unterschiedlichen Größen oder Varianten identisch sein. Verwende ihn daher erst, nachdem Du diese Unterschiede geprüft hast.

Schritt 6: Matching-Algorithmus und Processor auswählen

Wähle als Nächstes den Vergleichsalgorithmus aus.

Bei einer Produkt-SKU solltest Du mit Exact beginnen, damit unterschiedliche Kennungen getrennt bleiben. Bei Email- oder URL-Feldern kann Smart Varianten mithilfe des passenden Processors normalisieren. Prüfe diese Einstellungen, bevor Du einen Treffer akzeptierst.

Du kannst außerdem einen „Processor“ auswählen, um Daten vor dem Vergleich zu normalisieren, beispielsweise Email-Adressen oder URLs zu bereinigen.

Klicke auf Run duplicates check.

Schritt 7: Duplikatgruppen in der Vorschau prüfen

Datablist analysiert Deine Daten und zeigt Gruppen potenzieller Duplikate an. Prüfe diese Gruppen, um sicherzustellen, dass es sich tatsächlich um Duplikate handelt, bevor Du sie zusammenführst.

Werte mit AI Processing addieren

Wähle Custom with AI, um Regeln für jede Duplikatgruppe zu generieren. Der Generator sieht nur eine kleine Stichprobe Deiner Einträge. Lege deshalb Regeln für fehlende Zahlen, ungültige Datumsangaben und Gleichstände fest, statt davon auszugehen, dass er jeden Sonderfall selbst erkennt.

Schritt 8: AI-Processing-Modus auswählen

Wähle auf der Ergebnisseite der Duplikatsuche Custom with AI aus. Die älteren Screenshots unten zeigen noch die frühere Bezeichnung AI Editing.

In diesem Modus kannst Du individuelle Regeln zum Zusammenführen mit Prompts in natürlicher Sprache definieren.

Schritt 9: Deinen AI Prompt schreiben

Das ist der zentrale Schritt. In einem Prompt erklärst Du Datablist, wie die Duplikatgruppen zusammengeführt werden sollen.

Dein Prompt benötigt zwei wesentliche Bestandteile:

1. Master-Datensatz auswählen: Erkläre der AI, wie sie den Hauptdatensatz auswählen soll, der nach dem Zusammenführen erhalten bleibt. Mögliche Kriterien sind „der Datensatz mit dem neuesten Datum in /Property“, „der vollständigste Datensatz“ oder „der zuerst erstellte Datensatz“.
2. Werte addieren: Weise die AI an, die Werte eines bestimmten Zahlenfelds aus allen Datensätzen der Gruppe einschließlich des Master-Datensatzes zu addieren und die Summe in dasselbe Feld des Master-Datensatzes zu schreiben.

Verwende /PropertyName oder {{PropertyName}}, um auf Spalten in Deiner Collection zu verweisen.

Hier ist ein Beispiel-Prompt, der die Eigenschaft /Stock addiert und den Master-Datensatz anhand des neuesten Werts in /Date auswählt:

Dieser Prompt lässt die übrigen Werte des ausgewählten Datensatzes bewusst unverändert. Wenn andere Zeilen nützliche Notizen oder Kennungen enthalten, lege vor dem Löschen fest, wie diese Felder erhalten bleiben sollen. Für einen Workflow, bei dem alle Zeilen bestehen bleiben, sieh Dir die Anleitung zum Normalisieren von Duplikatwerten ohne Zusammenführen an.

Die Stock-Regel unterscheidet zwischen einem leeren Wert und ungültigem Text. Außerdem zählt sie den erhaltenen Datensatz genau einmal. So vermeidest Du den häufigen Fehler, seinen Wert auszulassen oder doppelt zu addieren.

Schritt 10: Prompt prüfen und Skript generieren

Prüfe Deinen Prompt und vergewissere Dich, dass Du die Spaltennamen wie /Date und /Stock korrekt angegeben hast. Wenn alles passt, klicke auf Generate and preview changes.

AI-Skript prüfen und ausführen

Die AI von Datablist führt Deinen Befehl nicht einfach ungeprüft aus. Sie erstellt zunächst anhand Deines Prompts ein JavaScript-Skript und zeigt Dir eine Vorschau.

Schritt 11: Verarbeitung abwarten

Die AI benötigt einen Moment, um Deinen Prompt zu interpretieren und das passende Skript zu schreiben.

Schritt 12: Skripterklärung prüfen

Datablist zeigt Dir eine Erklärung des generierten Skripts. Prüfe, ob das AI-System Deine Absicht richtig verstanden hat.

Schritt 13: Ergebnisvorschau des Skripts prüfen

Noch wichtiger: Datablist zeigt Dir vor der Ausführung eine Vorschau, wie sich das Skript auf Deine Daten auswirkt.

Prüfe mindestens eine Gruppe in der Vorschau, indem Du ihre Werte selbst addierst. Kontrolliere außerdem einen leeren Wert, eine Null, eine ungültige Zahl und einen Gleichstand beim Datum. Gruppen, die nach Deinen Regeln übersprungen werden, sollten unverändert bleiben.

Die Vorschau zeigt den vorgeschlagenen Zustand des Master-Datensatzes nach dem Zusammenführen und Addieren. Kontrolliere, ob das Zahlenfeld, beispielsweise /Stock, die korrekte Summe der Einträge in der Duplikatgruppe enthält.

Schritt 14: Beispielvorschau mit Master-Datensatz

Hier siehst Du die Vorschau für eine bestimmte Gruppe genauer. Wie in unserem Prompt festgelegt, ist der Master-Datensatz der Eintrag mit dem neuesten Datum.

Schritt 15: Skript ausführen

Wenn die Vorschau korrekt aussieht und die Summen stimmen, klicke auf Run AI rules. Datablist wendet die Regeln zum Zusammenführen und Addieren nun auf alle erkannten Duplikatgruppen in Deiner Collection an.

Schritt 16: Ergebnisse überprüfen

Nach der Ausführung des Skripts werden Deine doppelten Datensätze gemäß Deinen Anweisungen zusammengeführt.

Kehre zur Hauptansicht Deiner Collection zurück. Akzeptierte Gruppen sollten jetzt jeweils nur noch einen Datensatz mit dem addierten Wert enthalten. Nach Deinen Regeln übersprungene Gruppen sollten unverändert geblieben sein.

Prüfe die addierte Spalte, zum Beispiel /Stock. Sie sollte jetzt die aggregierten Summen der zuvor doppelten Einträge enthalten.

Vergleiche den Gesamtbestand der akzeptierten Gruppen vor und nach der Verarbeitung. Wenn Du unterschiedliche Beiträge konsolidierst, sollte die Summe gleich bleiben. Prüfe übersprungene Gruppen separat, bevor Du die Daten exportierst.

Du hast AI Processing erfolgreich genutzt, um Duplikate nicht nur zusammenzuführen, sondern dabei auch Berechnungen wie Summen auszuführen. Das spart viel manuelle Arbeit und sorgt für verlässliche Daten.

Anwendungsfälle

Die AI-gestützte Summenfunktion lässt sich vielseitig einsetzen. Hier sind einige typische Szenarien:

• Bestandsverwaltung: Du importierst Produktlisten von mehreren Lieferanten oder aus verschiedenen Lagern. Dadurch entstehen doppelte Einträge für dasselbe Produkt. Mit AI Processing führst Du diese Einträge zusammen, wählst den Datensatz mit dem neuesten Aktualisierungsdatum als Master aus und addierst die /QuantityOnHand-Werte aller Duplikate, um den korrekten Gesamtbestand zu erhalten.
• Vertriebsdaten konsolidieren: Vertriebsdaten stammen aus unterschiedlichen Regionen oder Plattformen. So können innerhalb eines Zeitraums doppelte Datensätze für denselben Kunden oder Produktverkauf entstehen. Führe diese Duplikate anhand von CustomerID und ProductID zusammen, wähle den Datensatz mit dem frühesten SaleDate und addiere die Felder /UnitsSold und /Revenue, um konsolidierte Vertriebszahlen zu erhalten.
• Finanzdaten aggregieren: Addiere unterschiedliche Transaktionen erst dann zu Kategoriesummen, wenn Du ihre Transaktions-IDs geprüft hast. Zwei Kontoauszüge können dieselbe Transaktion enthalten. Entferne wiederholte Kopien vor dem Addieren und halte verschiedene Währungen getrennt.
• Projektmanagement: Führe Aufgabeneinträge für denselben Projektmeilenstein aus den Updates verschiedener Teammitglieder zusammen. Nutze ProjectID und MilestoneName, behalte den Datensatz mit dem neuesten StatusUpdateDate und addiere das Feld /HoursLogged, um den Gesamtaufwand zu erfassen.
• E-Commerce-Bestellungen zusammenführen: Fasse mehrere separat erfasste Positionen desselben Produkts innerhalb einer Kundenbestellung zusammen. Dedupliziere anhand von OrderID und ProductID, behalte eine Position und addiere die Felder /Quantity und /ItemTotal.

FAQ

F1: Was kann ich tun, wenn meine Zahlenspalte nicht als Typ „Number“ erkannt wird? Achte beim Import darauf, dass die Spalte auf den Typ Number eingestellt ist. Wurde sie bereits als Text importiert, kannst Du vor dem Start des Duplicates Finder im Menü „Clean“ das Tool „Convert Text to...“ verwenden, um sie in Number umzuwandeln. Die Summenfunktion der AI setzt ein numerisches Feld voraus.

F2: Kann ich in einem Prompt mehrere Zahlenspalten addieren? Ja. Du kannst den Prompt um Regeln für mehrere Felder ergänzen. Zum Beispiel:

Verwende den Prompt oben und ergänze eine Regel, die /SalesCount genauso behandelt wie leere und ungültige Werte. Lege fest, welche Felder im erhaltenen Datensatz unverändert bleiben. Prüfe beide Summen in der Vorschau.

F3: Was passiert, wenn einige Datensätze in der Zahlenspalte leere Werte enthalten? Das generierte Skript folgt den von Dir festgelegten Regeln. Der Prompt oben behandelt leere Felder als null und überspringt Gruppen, die nicht leere, nicht numerische Stock-Werte enthalten. Prüfe dieses Verhalten vor der Ausführung in der Vorschau. Ein ungültiger Betrag sollte nicht stillschweigend in null umgewandelt werden.

F4: Kann die AI außer Summen auch andere Berechnungen durchführen? Ja, AI Processing ist sehr flexibel. Summen sind ein häufiger Anwendungsfall, Du kannst die AI aber auch anweisen, Durchschnittswerte zu berechnen, den höchsten oder niedrigsten Wert zu ermitteln oder Berechnungen anhand mehrerer Felder durchzuführen. Dadurch wird der Prompt allerdings komplexer.

F5: Ist AI Processing teurer als das normale Zusammenführen? „AI Processing“ ist in allen kostenpflichtigen Tarifen enthalten und unbegrenzt nutzbar.

F6: Was kann ich tun, wenn die AI meinen Prompt nicht richtig versteht? Prüfe die Vorschau immer sorgfältig, bevor Du das Skript ausführst. Entspricht das Ergebnis nicht Deinen Erwartungen, überarbeite den Prompt. Formuliere genauer, kontrolliere die Spaltennamen und beschreibe sowohl die Auswahl des Master-Datensatzes als auch die Summenregel eindeutig. Teile komplexe Logik bei Bedarf in einfachere Schritte auf. Du kannst das Skript mehrfach neu generieren, bis die Vorschau stimmt.