Om dubbele records samen te voegen en numerieke waarden op te tellen, groepeer je rijen op basis van een stabiele identifier zoals SKU. Vervolgens kies je welk record je wilt behouden en tel je de numerieke waarden van alle records in de groep bij elkaar op. Met Datablist's Duplicates Finder kun je deze regels beschrijven, het gegenereerde script vooraf bekijken en daarna toepassen.
Controleer eerst wat elke rij vertegenwoordigt. Tel afzonderlijke bijdragen bij elkaar op, zoals voorraad in verschillende magazijnen. Zijn twee rijen herhaalde exports van dezelfde voorraadstand, dan zou je de voorraad dubbel tellen. Bewaar in dat geval alleen de meest recente momentopname.
Wil je een volledige kolom apart controleren? Gebruik dan de handleiding voor numerieke berekeningen in CSV-bestanden om totalen en bereiken vóór of na het samenvoegen te bekijken. Deze berekeningen vatten waarden samen, maar bepalen niet welke rijen duplicaten zijn.
Drie rijen voor SKU A-100 met voorraden van 12, 8 en 5 in drie verschillende magazijnen moeten bijvoorbeeld één rij met een voorraad van 25 opleveren. Neem magazijn- of transactie-identifiers mee in je controle om te bepalen of een bijdrage al is geteld.
In deze handleiding lees je stap voor stap hoe je numerieke waarden optelt terwijl je dubbele records samenvoegt:
Je data voorbereiden
Voordat je records kunt samenvoegen en waarden kunt optellen, moet je data in Datablist staan. We beginnen met het maken van een collection en het importeren van je bestand.
Stap 1: Maak een collection
In Datablist gebruik je collections om je data te organiseren. Zie ze als slimme spreadsheets. Klik op de knop '+' in de zijbalk of op de snelkoppeling "Start with a CSV/Excel file" op het startscherm om een nieuwe collection te maken.
Stap 2: Importeer je bestand
Je kunt data uit verschillende bronnen importeren. Voor dit voorbeeld gebruiken we een CSV- of Excel-bestand. Klik op "Import CSV/Excel" en upload je bestand.
Datablist ondersteunt grote bestanden, dus honderdduizenden rijen vormen geen probleem.
Datablist herkent automatisch de kolomtypen, zoals Text, Number, Date en Email.
⚠️ Belangrijk: Controleer of de kolom die je wilt optellen, bijvoorbeeld
/Stock, correct is herkend als het typeNumber. Zo niet, dan kun je dit tijdens het importeren handmatig aanpassen.
Stap 3: Controleer je geïmporteerde data
Bekijk je collection kort nadat de import is voltooid om te controleren of alles klopt. Je rijen en kolommen staan nu klaar om te worden opgeschoond.
Dubbele records vinden
Nu je data is geladen, kun je de dubbele records opsporen.
Stap 4: Start Duplicates Finder
Open Clean > Merge duplicates.
Stap 5: Selecteer je identifier(s) voor deduplicatie
Je moet Datablist vertellen hoe dubbele items kunnen worden herkend.
Kies de property waarmee je een item in je lijst uniek identificeert. Dat kan een Email-adres, een Product SKU, een Company Name of een combinatie van velden zijn.
Gebruik in dit voorraadvoorbeeld SKU om hetzelfde product te groeperen. Alleen een productnaam kan ook verschillende maten of varianten opleveren. Gebruik die daarom pas nadat je deze verschillen hebt gecontroleerd.
Stap 6: Kies het matching-algoritme en de Processor
Selecteer vervolgens het vergelijkingsalgoritme.
Begin bij een product-SKU met Exact. Schakel Case sensitive in als hoofdletters en kleine letters verschillende producten aanduiden. Anders kunnen A-100 en a-100 als match worden gezien en kan hun voorraad bij elkaar worden opgeteld.
Voor velden met e-mailadressen of URL's kan Smart variaties normaliseren via de relevante Processor. Controleer deze instellingen voordat je een match accepteert. In de uitleg over Smart matching lees je wat er in elke normalisatiestap verandert.
Je kunt ook een 'Processor' kiezen om data vóór de vergelijking te normaliseren, bijvoorbeeld door e-mailadressen of URL's op te schonen.
Klik op Run duplicates check.
Stap 7: Bekijk de groepen met duplicaten
Datablist analyseert je data en toont groepen met mogelijke duplicaten. Controleer of het daadwerkelijk om dubbele records gaat voordat je ze samenvoegt.
Waarden optellen met AI Processing
Selecteer Custom with AI om regels voor elke groep met duplicaten te genereren. De generator krijgt een kleine selectie van je items te zien. Leg daarom expliciet vast wat er moet gebeuren bij ontbrekende getallen, ongeldige datums en gelijke uitkomsten, in plaats van ervan uit te gaan dat elk scenario automatisch wordt ontdekt.
Stap 8: Selecteer AI Processing
Selecteer Custom with AI op de resultatenpagina met duplicaten. In de oudere screenshots hieronder staat nog het voormalige label AI Editing.
Met deze modus definieer je aangepaste samenvoeglogica via prompts in natuurlijke taal.
Stap 9: Schrijf je AI-prompt
Dit is de kern van het proces. In een prompt leg je uit hoe Datablist de groepen met duplicaten moet samenvoegen.
Je prompt heeft twee belangrijke onderdelen nodig:
- Masterrecord selecteren: Vertel de AI hoe het hoofdrecord, de "master" die na het samenvoegen wordt bewaard, moet worden gekozen. Gebruik bijvoorbeeld "het record met de meest recente datum in
/Property", "het meest complete record" of "het record dat als eerste is aangemaakt". - Waarden optellen: Geef de AI de opdracht om de waarden uit een specifiek numeriek veld van alle records in de groep, inclusief de master, op te tellen. Laat het totaal vervolgens in hetzelfde veld van het masterrecord plaatsen.
Gebruik /PropertyName of {{PropertyName}} om naar kolommen in je collection te verwijzen.
Hieronder staat een voorbeeldprompt waarmee je een /Stock-property optelt en de master kiest op basis van de meest recente /Date-property:
Verwerk elke groep met duplicaten afzonderlijk. Bewaar het record met de meest recente geldige datum in /Date. Sla de groep zonder wijzigingen over als meerdere records de meest recente datum hebben of als een datum ontbreekt of ongeldig is.
Tel alle numerieke waarden in /Stock binnen de groep op, inclusief de waarde van het record dat wordt bewaard. Behandel lege Stock-waarden als nul. Sla de groep zonder wijzigingen over als een niet-lege Stock-waarde niet numeriek is.
Schrijf het totaal naar /Stock in het record dat wordt bewaard. Laat de overige waarden van dit record ongewijzigd en verwijder de andere records uit de groep.
Deze prompt laat de overige waarden van het gekozen record bewust ongewijzigd. Bevatten andere rijen nuttige notities of identifiers, leg dan vast hoe die velden moeten worden behouden voordat je de rijen verwijdert. Bekijk dubbele waarden normaliseren zonder records samen te voegen als je alle rijen wilt behouden.
De regel voor Stock maakt onderscheid tussen een leeg veld en ongeldige tekst. Ook wordt de waarde van het bewaarde record precies één keer meegeteld. Zo voorkom je de veelgemaakte fout waarbij deze waarde wordt overgeslagen of dubbel wordt opgeteld.
Stap 10: Rond je prompt af en genereer het script
Controleer je prompt. Kijk goed of je de juiste kolomnamen hebt gebruikt, zoals /Date en /Stock. Ben je tevreden, klik dan op Generate and preview changes.
Het AI-script controleren en uitvoeren
Datablist's AI voert je opdracht niet zomaar uit. Eerst wordt op basis van je prompt een JavaScript-script gegenereerd waarvan je een preview te zien krijgt.
Stap 11: Wacht tot de verwerking klaar is
De AI heeft even tijd nodig om je prompt te interpreteren en het bijbehorende script te schrijven.
Stap 12: Controleer de uitleg van het script
Datablist toont een uitleg van wat het gegenereerde script doet. Controleer of het AI-systeem je bedoeling goed heeft begrepen.
Stap 13: Controleer de preview van het scriptresultaat
Nog belangrijker: Datablist toont voordat je het script uitvoert een preview van de gevolgen voor je data.
Bekijk de preview en controleer ten minste één groep door de waarden zelf op te tellen. Test ook een leeg veld, een nul, een ongeldig getal en twee gelijke datums. Groepen die volgens je regels worden overgeslagen, moeten ongewijzigd blijven.
Je ziet de voorgestelde staat van het masterrecord nadat de records zijn samengevoegd en de waarden zijn opgeteld. Controleer of het numerieke veld, bijvoorbeeld /Stock, de juiste som van alle records in de groep toont.
Stap 14: Bekijk een voorbeeld met het masterrecord
Hier zie je de preview van een specifieke groep van dichtbij. Zoals in onze prompt is vastgelegd, is het masterrecord het record met de meest recente datum.
Stap 15: Voer het script uit
Klopt de preview en zijn de sommen correct berekend? Klik dan op Run AI rules. Datablist past de regels voor samenvoegen en optellen nu toe op alle gevonden groepen met duplicaten in je collection.
Stap 16: Controleer de resultaten
Zodra het script klaar is, zijn je dubbele records volgens je instructies samengevoegd.
Ga terug naar de hoofdweergave van je collection. Elke geaccepteerde groep moet nu één record met de opgetelde waarde bevatten. Groepen die volgens je regels zijn overgeslagen, moeten ongewijzigd zijn gebleven.
Controleer de kolom die je hebt opgeteld, bijvoorbeeld /Stock. Deze moet nu de samengevoegde totalen van de voorheen dubbele items bevatten.
Vergelijk de totale voorraad vóór en na de verwerking van de geaccepteerde groepen. Als je afzonderlijke bijdragen consolideert, moet het totaal gelijk blijven. Controleer overgeslagen groepen apart voordat je de data exporteert.
Je hebt AI Processing nu gebruikt om niet alleen duplicaten samen te voegen, maar tijdens het proces ook berekeningen uit te voeren. Dat bespaart veel handmatig werk en helpt je data betrouwbaar te houden.
Praktische toepassingen
Deze AI-functie voor het optellen van waarden is breed inzetbaar. Een paar voorbeelden:
- Voorraadbeheer: Je importeert productlijsten van meerdere leveranciers of magazijnen, waardoor hetzelfde product meerdere keren voorkomt. Gebruik AI Processing om deze records samen te voegen, het record met de meest recente wijzigingsdatum als master te kiezen en de
/QuantityOnHand-waarden van alle duplicaten op te tellen voor een correcte totale voorraad. - Verkoopdata consolideren: Verkoopdata komt uit verschillende regio's of platforms, waardoor binnen één periode dubbele records voor dezelfde klant of productverkoop ontstaan. Voeg de duplicaten samen op basis van
CustomerIDenProductID, kies het record met de vroegsteSaleDateen tel de velden/UnitsSolden/Revenueop voor geconsolideerde verkoopcijfers. - Financiële data aggregeren: Tel afzonderlijke transacties pas bij categorietotalen op nadat je de transactie-ID's hebt gecontroleerd. Twee afschriften kunnen dezelfde transactie bevatten. Verwijder herhaalde kopieën voordat je waarden optelt en houd verschillende valuta's gescheiden.
- Projectmanagement: Combineer taakregistraties voor dezelfde projectmijlpaal uit updates van verschillende teamleden. Voeg records samen op basis van
ProjectIDenMilestoneName, bewaar het record met de meest recenteStatusUpdateDateen tel het veld/HoursLoggedop om de totale inspanning bij te houden. - E-commercebestellingen samenvoegen: Combineer meerdere orderregels voor hetzelfde product binnen één klantbestelling die mogelijk afzonderlijk zijn ingevoerd. Dedupliceer op basis van
OrderIDenProductID, bewaar één orderregel en tel de velden/Quantityen/ItemTotalop.
FAQ
Q1: Wat als mijn numerieke kolom niet als het type 'Number' wordt herkend?
Controleer tijdens het importeren of de kolom op het type Number staat. Is de kolom al als Text geïmporteerd, gebruik dan de tool "Convert Text to..." in het menu "Clean" om deze naar Number te converteren voordat je Duplicates Finder uitvoert. Voor de optelfunctie van de AI moet het veld een numeriek type hebben.
Q2: Kan ik meerdere numerieke kolommen in één prompt optellen? Ja. Je kunt de prompt uitbreiden met instructies om meerdere velden op te tellen. Bijvoorbeeld:
Gebruik de bovenstaande prompt en voeg een regel toe om /SalesCount op te tellen, waarbij lege en ongeldige waarden op dezelfde manier worden behandeld. Leg vast welke velden in het bewaarde record ongewijzigd moeten blijven. Controleer beide totalen in de preview.
Q3: Wat gebeurt er als sommige records lege waarden in de numerieke kolom hebben? Het gegenereerde script volgt de regels die je opgeeft. De bovenstaande prompt behandelt lege velden als nul en slaat groepen met niet-lege, niet-numerieke voorraadwaarden over. Controleer dit gedrag in de preview voordat je het script uitvoert. Zet een ongeldig bedrag niet stilzwijgend om in nul.
Q4: Kan de AI naast optellen ook andere berekeningen uitvoeren? Ja, AI Processing is behoorlijk flexibel. Optellen is een veelvoorkomende toepassing, maar je kunt de AI bijvoorbeeld ook gemiddelden laten berekenen, de hoogste of laagste waarde laten bepalen of berekeningen op basis van meerdere velden laten uitvoeren. Houd er wel rekening mee dat je prompt daardoor complexer wordt.
Q5: Is AI Processing duurder dan standaard samenvoegen? "AI Processing" is inbegrepen en onbeperkt beschikbaar in alle betaalde abonnementen.
Q6: Wat moet ik doen als de AI mijn prompt niet goed begrijpt? Controleer de preview altijd zorgvuldig voordat je het script uitvoert. Krijg je niet het verwachte resultaat, verfijn dan je prompt. Wees specifieker, controleer de kolomnamen en beschrijf duidelijk hoe het masterrecord moet worden gekozen en welke waarden moeten worden opgeteld. Splits complexe logica zo nodig op in eenvoudigere stappen. Je kunt het script meerdere keren opnieuw genereren totdat de preview klopt.