Pulire i duplicati significa molto più che cliccare su “delete”!
Alcuni record sono identici. Altri hanno valori in conflitto. Molti invece sono complementari e vanno uniti, non eliminati.
In base al tuo workflow, potresti dover unire i record, aggiornare un record “master” oppure semplicemente segnalare i duplicati per una revisione.
Gli strumenti base eliminano righe senza capire la priorità dei campi o le regole di business. E così facendo, distruggono dati utili.
Una deduplicazione fatta bene richiede logica chiara. Devi definire come scegliere il record master, come risolvere i conflitti e cosa fare con i record “secondari”.
In questo articolo vediamo metodi pratici per unire, aggiornare e rimuovere duplicati in file CSV, fogli Excel e CRM.
Partiamo!
📌 Riassunto per chi ha poco tempo
Questo articolo ti spiega tutto quello che serve per deduplicare i tuoi fogli di calcolo, incluso come unire, aggiornare e rimuovere duplicati nel modo corretto.
Problema: senza capire priorità e azioni bulk, quando gestisci duplicati rischi di perdere dati importanti oppure di tenere i record sbagliati.
Soluzione: Datablist offre tre metodi di dedupe: merge e rimozione semplice, AI Editing per regole complesse, e deduplicazione su più file.
I metodi di deduplicazione che vediamo:
Nei prossimi 10 minuti imparerai
- Cos’è Datablist e perché siamo la scelta giusta per parlare di duplicati
- Cosa sapere sui duplicati prima di fare cleaning / deduplicazione
- I 3 modi più efficaci per rimuovere duplicati (guida step-by-step)
Perché dovresti ascoltarci
Datablist è una piattaforma per costruire workflow di lead generation che oggi permette a 26000 utenti di trovare, arricchire e pulire dati usando oltre 60 strumenti diversi: dagli AI Agents agli Email Finders, passando per AI processors, Technology enrichments e molto altro.
In più, Datablist include una suite completa di deduplicazione che ti permette di unire, aggiornare, rimuovere o segnalare duplicati in pochi clic, senza scrivere codice.
Capire le basi della deduplicazione
Prima di vedere come deduplicare la tua lista, ecco i principi che stanno dietro alle diverse tecniche di deduplicazione.
In questa sezione trovi:
- Una breve spiegazione dei tipi di duplicati
- Fondamentali per deduplicare record con valori in conflitto
- Domande per chiarire più velocemente il tuo obiettivo
Cosa devi sapere: le basi della deduplicazione
I punti qui sotto valgono solo per la deduplicazione su un singolo file. Nella deduplicazione multi-file puoi solo eliminare i duplicati da alcuni file, ma non unire o aggiornare i record: per questo capire questi principi è utile, anche se non obbligatorio.
Di default, Datablist prova a unire automaticamente i record duplicati. Nella pratica, però, non sempre funziona perché la maggior parte degli utenti ha duplicati con valori in conflitto.
Quando ci sono conflitti, tutto ruota attorno a due concetti:
- pattern di priorità per scegliere il record master in un gruppo di duplicati
- azioni bulk per gestire i record secondari in quel gruppo
Tipi di duplicati: come riconoscerli
Classifichiamo i duplicati in base a quanto sono simili i campi.
- Duplicati esatti: tutte le colonne hanno gli stessi valori. Di solito derivano da import doppi o copy-paste accidentali.
- Duplicati in conflitto: rappresentano la stessa entità, ma alcuni campi (telefono, job title, revenue, ecc.) non coincidono.
- Duplicati complementari: ogni record contiene pezzi di informazione utili diversi che andrebbero combinati. Per esempio, un record può avere un indirizzo email e il suo duplicato un numero di telefono.
Prima: definire un pattern di priorità
Devi decidere quale record diventa quello di riferimento. Noi lo chiamiamo Master Item Rule. Tieniti questo termine: ci servirà dopo.
Esempi di pattern/Master Item Rules:
- Most complete: mantiene il record con più campi compilati
- Last updated: mantiene il record modificato più di recente
- First created: mantiene il record più vecchio
- Lowest value: mantiene il record con il valore più basso in una colonna specifica
- Highest value: mantiene il record con il valore più alto in una colonna specifica
- Matching value: mantiene il record che corrisponde a un valore specifico su una proprietà che definisci
📘 Master Item Rules
Importante: “Last updated” e “First created” hanno senso solo per dati gestiti attivamente in Datablist nel tempo. Se hai appena caricato il file, queste opzioni non funzionano perché i fogli importati non includono questi metadati.
Se non sei sicuro su quale master item rule scegliere, ti consigliamo “Most complete” oppure la tecnica spiegata nella seconda parte della sezione step-by-step.
Per casi complessi, Datablist ti permette di usare l’AI per creare pattern di priorità personalizzati, ad esempio: se la colonna A contiene “Hello people” e la colonna B contiene “of Germany”.
Ne parliamo meglio nella seconda parte della guida step-by-step.
Seconda: scegliere un’azione bulk
Una volta scelto il pattern di priorità, il passo successivo è decidere cosa fare con i record che non rispettano quel pattern.
Esempi di azioni bulk per gestire duplicati:
- Eliminare gli item secondari
- Unire il Master Item e l’item secondario in un unico record
- Unire solo alcune proprietà dell’item secondario nel Master Item ed eliminare il resto
- Aggiornare alcune proprietà del Master Item con i valori dell’item secondario
- Segnalare i duplicati senza eliminarli (molto utile in aziende grandi, dove i record secondari possono servire per compliance)
- …e qualsiasi altra logica ti venga in mente
📘 Differenza tra merge dei duplicati e update dei duplicati
Fare merge significa combinare i valori di entrambi i record. È perfetto, ad esempio, per contatti CRM duplicati dove hai note in entrambi i record.
Fare update significa sostituire valori specifici con dati migliori presi da un’altra fonte. Usalo quando ogni duplicato ha qualche informazione corretta: ad esempio tieni il contatto A, ma correggi la job title usando quella più accurata del contatto B.
Domande da farti prima di deduplicare una lista
Ora che hai chiaro pattern e azioni bulk, usa le domande qui sotto per capire rapidamente il tuo criterio di priorità e cosa fare con gli altri record.
Quale record dovrebbe essere il Master Item?
Questa domanda ti aiuta a definire il pattern di priorità. Chiediti cosa rende un duplicato “migliore” dell’altro.
Domande utili:
- C’è un record più completo degli altri?
- Un record arriva da una fonte più affidabile?
- Un record è più recente o è stato aggiornato più di recente?
- Un record contiene un valore specifico che lo rende la versione “corretta”?
La risposta determina la tua Master Item rule:
- Se conta la completezza → usa “Most complete”
- Se conta la recency → usa “Last updated” o “First created”
- Se vince un valore specifico → usa “Matching value”
- Se la logica è più complessa → usa AI Editing (Metodo 2)
Cosa deve succedere ai record non-master?
Questa domanda ti aiuta a scegliere l’azione bulk. Una volta scelto il “vincitore”, cosa vuoi fare con gli altri?
Domande utili:
- Gli altri record hanno dati di valore che voglio tenere?
- Devo combinare informazioni da più record in uno solo?
- Mi basta eliminare gli extra e andare avanti?
- Voglio segnalare i duplicati per una revisione invece di eliminarli?
La risposta determina la tua azione bulk:
- Se gli altri record non hanno valore → drop di tutti i valori in conflitto / delete
- Se gli altri record hanno dati utili → combina i valori in conflitto oppure update del master item
- Se ti servono record per compliance → flag dei duplicati senza eliminare
- Se devi scegliere “a mano” valori specifici → usa AI Editing (Metodo 2)
Deduplicazione: pulire i record duplicati dai tuoi dati
Datablist ha una suite di deduplicazione che copre tutto, dalla rimozione più semplice fino alla deduplicazione su più file. In questa sezione vediamo 3 workflow diversi:
- Unire e rimuovere duplicati su un singolo file con regole semplici
- Aggiornare e rimuovere duplicati su un singolo file con regole complesse
- Rimuovere duplicati tra più file; niente merge possibile
Iniziamo!
Come Datablist gestisce i duplicati - ripasso rapido
Se hai letto la sezione precedente, puoi saltare questo punto; altrimenti, ecco un riassunto semplice per capire esattamente cosa farai.
- Datablist scansiona i dati e trova righe che hanno informazioni corrispondenti nelle colonne che scegli.
- Quando trova duplicati, ti permette di fare auto-merge per i match esatti.
- Se ci sono duplicati in conflitto, ti chiede di scegliere un criterio con cui dare priorità a un record rispetto a un altro (la “Master Item Rule”).
- Una volta definita la Master Item Rule, puoi fare merge, update, flag o delete del secondo record duplicato nella coppia.
Merge e rimozione semplice dei duplicati su un file
È il modo più semplice per rimuovere duplicati: hai una lista dove alcune righe compaiono più volte e vuoi tenere una sola copia per record.
Quando è utile:
- Hai importato lo stesso CSV due volte per sbaglio
- L’export del tuo CRM contiene contatti duplicati
- Dati raccolti via scraping hanno ripetizioni dovute a errori di paginazione
Step 1: Registrati e carica i dati
- Registrati su Datablist
- Upload del tuo CSV o Excel
Step 2: Vai su Duplicates Finder
Clicca su Clean nel menu in alto dell’app e seleziona Duplicates Finder
Step 3: Scegli il tuo identificatore univoco
In questo step hai due opzioni:
Opzione 1: scegliere una o più colonne come identificatore univoco - CONSIGLIATA
Pensa all’identificatore univoco come all’informazione che rende ogni record davvero distinto. Per esempio:
- Usando una sola colonna: se scegli “Email” come identificatore univoco, allora john@example.com verrà considerata unica anche se tutto il resto coincide
- Usando più colonne: se scegli “First Name” + “Company”, allora “John” in “Microsoft” è diverso da “John” in “Google”
Più colonne selezioni, più il matching diventa rigoroso. In genere conviene partire con una o due colonne che identificano davvero in modo univoco i record nei tuoi dati.
Opzione 2: deduplicare su tutte le proprietà - SCONSIGLIATA
Questa opzione controlla se ogni singola colonna di una riga combacia esattamente con un’altra riga. Quindi due righe sono considerate duplicati solo se tutti i dati sono identici.
Perché non la consigliamo: nei dati reali, i duplicati raramente coincidono al 100% su tutte le colonne. La stessa persona può avere job title leggermente diverse, oppure la stessa azienda può avere employee count differenti in base alla fonte. Se usi questa opzione, ti perderai la maggior parte dei duplicati.
Quando può essere utile la seconda opzione: solo se stai cercando righe duplicate esatte importate due volte per errore, dove letteralmente ogni campo è identico.
Una volta selezionate le proprietà su cui vuoi deduplicare, scorri in basso e clicca Next
Step 4: Seleziona l’algoritmo di confronto
Qui devi scegliere un algoritmo di confronto e un processor per ogni proprietà su cui vuoi deduplicare. Ti consigliamo di lasciare i default, tranne per i nomi azienda.
Se deduplichi sui nomi azienda: scegli il processor per company names, perché è l’unico che Datablist non riesce a rilevare automaticamente.
Step 5: Seleziona il Master Item, rivedi e risolvi i conflitti
- Scegli la master item rule: come spiegato nella prima sezione, Datablist ti chiede sempre di specificare una Master Item rule. Quella di default è “Most Complete”, ma puoi sceglierne un’altra.
-
Rivedi e risolvi i conflitti se serve: spesso i duplicati non sono identici su tutte le proprietà. È proprio per questo che ti chiediamo di scegliere un master item.
Per risolvere i conflitti puoi scegliere se combinare oppure eliminare (drop) i valori in conflitto. Attenzione però: combinare i valori funziona solo per proprietà testuali. Se hai numeri, date/ora, ecc., dovrai usare una combinazione di regole: combine e drop.
- Clicca Refresh Merging Preview per vedere le modifiche che verranno applicate
Step 6: Esegui e controlla
A questo punto ti basta cliccare Auto-merge when possible.
Dopo il merge dei duplicati, Datablist ti permette di scaricare le modifiche in formato CSV. Il file include:
- Tutti i duplicati che avevi nel file
- I record su cui quei duplicati sono stati uniti
- Le modifiche effettuate
- Il Datablist record ID
Scaricare questo file è facoltativo.
💡 Se hai fatto qualche errore
Puoi anche annullare le modifiche cliccando sul pulsante della cronologia e facendo undo delle azioni quando torni alla vista del foglio.
Modificare i duplicati prima di rimuoverli
A volte le master item rules standard non bastano. E se volessi tenere il numero di telefono da un record ma la job title da un altro? Qui entra in gioco AI Editing.
Come funziona: invece di scegliere una regola predefinita, descrivi esattamente cosa vuoi in inglese semplice. L’AI di Datablist legge le istruzioni, genera uno script e applica la tua logica personalizzata a ogni gruppo di duplicati.
Quando è utile:
- Hai contatti da fonti diverse (CRM, LinkedIn, liste telefoniche) e vuoi combinare i dati migliori di ciascuna
- I duplicati hanno campi diversi compilati e vuoi scegliere (cherry-pick) valori specifici
- Ti serve una logica su misura che non rientra nelle master item rules standard
- Vuoi aggiornare i record prima di eliminarli, non solo scegliere un vincitore
- Vuoi segnalare i duplicati invece di eliminarli per motivi di compliance
Step 1: Registrati e carica i dati
- Registrati su Datablist
- Upload del tuo CSV o Excel
Step 2: Vai su Duplicates Finder
Clicca su Clean nel menu in alto dell’app e seleziona Duplicates Finder
Step 3: Scegli il tuo identificatore univoco
Seleziona la/le colonna/e da usare per fare matching dei duplicati. Poi scorri in basso e clicca Next
Step 4: Seleziona l’algoritmo di confronto
Seleziona un algoritmo di confronto e un processor per ogni proprietà su cui vuoi deduplicare. Consigliamo di lasciare i default, tranne per i nomi azienda.
Step 5: Apri AI Editing
Invece di selezionare una master item rule, clicca su AI Editing nel pannello di deduplicazione.
Step 6: Scrivi il prompt
Descrivi quello che vuoi in inglese semplice. Ecco un esempio pratico.
Mettiamo che tu abbia dati di contatto da due fonti: verifica telefonica e scraping LinkedIn. I record “phone” hanno numeri verificati, mentre LinkedIn ha job title e nomi azienda aggiornati. Vuoi tenere il record phone come master, ma aggiornarlo con i dati LinkedIn.
Ecco il prompt che ho usato:
Select the records with "Phone" as source as master item and update them with the job title and company name from the record with the "LinkedIn" as source.
The source: /source
The job title: /job title
The company name: /company
Delete the second item when finished
Nota: non dimenticare di mappare le proprietà nel prompt usando /
Quando sei pronto clicca Generate and preview changes
Step 7: Rivedi e applica le modifiche
Datablist ti mostra esattamente quali modifiche farà l’AI prima di applicarle. Controlla l’anteprima per assicurarti che rispecchi le tue aspettative.
Quando l’anteprima ti convince, clicca Run AI Script per applicare le modifiche a tutti i gruppi di duplicati. Poi esporta i dati puliti.
💡 Consigli sui prompt per risultati migliori
Sii molto specifico sulle aspettative. Più descrivi con precisione cosa deve fare, migliori saranno i risultati.
Con questo puoi anche:
- Segnalare i duplicati invece di eliminarli: scrivi un prompt tipo “Add 'DUPLICATE' to the status column for all non-master items instead of deleting them”
- Combinare campi di testo: “Merge all notes from duplicate records into the master item's notes field, separated by line breaks”
- Dare priorità in base alla qualità della fonte: “Use Salesforce records as master when available, otherwise use HubSpot, then spreadsheet imports”
- …o qualsiasi altra cosa ti venga in mente.
Rimuovere duplicati tra due fogli o più
Se hai due file CSV diversi e vuoi trovare record presenti in entrambi, oppure vuoi deduplicare una nuova lead list rispetto a un export del tuo CRM, con Datablist è molto semplice.
Come funziona: a differenza della deduplicazione su un singolo file, qui Datablist confronta record su più file e rimuove i duplicati che compaiono in fonti diverse. Puoi selezionare due o più file, senza limiti.
Quando è utile:
- Stai importando nuovi lead e vuoi evitare duplicati con i contatti già presenti
- Stai unendo dati da più vendor o fonti
- Devi trovare l’overlap tra due liste clienti
- Vuoi evitare di contattare lo stesso prospect due volte
- Devi consolidare dati cliente provenienti da reparti o sedi diverse
- …e in tanti altri workflow di data cleaning
📘 Differenza importante rispetto alla deduplicazione su un singolo file
Quando deduplichi tra più file, Datablist rimuove i duplicati invece di unirli.
Step 1: Registrati e carica i file
- Registrati su Datablist
- Import del primo CSV o Excel
- Import del secondo file in un’altra collection (e di eventuali altri file su cui vuoi deduplicare)
- Assicurati di avere un identificatore univoco
Prima di continuare, verifica che tutti i file condividano almeno una colonna comune utilizzabile come identificatore univoco. Per esempio:
- Email address
- LinkedIn URL
- Company domain
- Phone number
- Qualsiasi altro campo che identifichi un record in modo univoco
Step 2: Vai su Duplicates Finder
Clicca su Clean nel menu in alto dell’app e seleziona Duplicates Finder
Step 3: Attiva la deduplicazione multi-collection
- Spunta Check Duplicate Items Across Several Collections
- Seleziona la/le collection(s) / file(s) che hai appena importato
Step 4: Scegli la proprietà identificatore univoco
Seleziona la proprietà da usare per il matching dei duplicati tra file. Puoi scegliere più proprietà, ma assicurati che tutti i file le contengano per mantenere accurato il processo di deduplicazione.
Step 5: Seleziona l’algoritmo di confronto
Scegli il meccanismo di confronto più adatto ai tuoi dati:
- Exact: ideale per URL, domini o ID dove serve un match perfetto
- Smart: ideale per proprietà testuali dove possono esistere piccole variazioni
Clicca Run duplicates check dopo aver scelto il metodo di confronto.
Step 6: Imposta le regole di cleaning
Scegli come gestire i duplicati:
- Remove duplicate items from collection X: rimuove i duplicati dal file selezionato
- Keep duplicate items only in collection X: disponibile solo quando deduplichi tra 3 o più collection
Clicca Process duplicate items per continuare.
Fatto!
Conclusione
Complimenti: sei arrivato in fondo e adesso sai più cose sulla deduplicazione di quante ne sappia la maggior parte delle persone. Ecco un recap veloce delle lezioni più importanti:
- Non tutti i duplicati sono uguali: capire il tipo di duplicato cambia completamente l’approccio
- Scegliere il Master Item giusto e l’azione bulk corretta può farti risparmiare ore di pulizia manuale
- A differenza di altri tool che ti obbligano al loro modo di lavorare, Datablist ti permette di gestire i duplicati esattamente come ti serve
Che tu stia unendo contatti da un CRM disordinato, applicando logiche custom con AI o ripulendo nuovi lead rispetto al database esistente, ora hai strumenti e metodo per farlo bene.
Frequently Asked Question
Come decide Datablist quale record duplicato tenere?
Datablist non decide: decidi tu. Scegli una Master Item Rule (come “Most complete” o “Last updated”) che dice a Datablist quale record prioritizzare. Se la tua logica è più complessa, puoi usare AI Editing e definire regole custom in inglese semplice (poi l’assistente AI fa il resto).
Cosa rende la suite di deduplication e matching di Datablist diversa dagli altri prodotti?
Tre cose: flessibilità, personalizzazione AI-powered e prezzo. Molti tool permettono solo di eliminare duplicati. Datablist ti consente di fare merge, update, flag o delete in base a regole che definisci tu. AI Editing gestisce logiche complesse che altri strumenti non riescono nemmeno a coprire. E il prodotto comparabile più vicino costa diverse migliaia di euro all’anno (software enterprise).
E se non volessi eliminare i duplicati?
Puoi segnalarli. Usa AI Editing e scrivi un prompt tipo: “Add 'DUPLICATE' to the status column for all non-master items instead of deleting them.” È particolarmente utile per esigenze di compliance o quando vuoi rivedere i duplicati prima di rimuoverli.
E se le Master Item Rules non si adattano al mio caso?
Usa AI Editing. Invece di scegliere una regola preimpostata, descrivi la tua logica in inglese semplice e l’AI di Datablist crea uno script su misura. Per esempio: “Keep the record from Salesforce, but use the job title from LinkedIn.”
Posso creare Master Item Rules personalizzate?
Sì. Con AI Editing puoi scrivere qualsiasi regola di prioritizzazione che riesci a descrivere. Vuoi tenere i record dove la colonna A contiene un valore specifico? O dare priorità in base a più condizioni? Scrivi cosa ti serve e l’AI farà il resto.
Cos’è un identificatore univoco nella deduplicazione?
Un identificatore univoco è la colonna (o combinazione di colonne) che rende ogni record distinto. Per esempio, se usi “Email” come identificatore univoco, due righe con la stessa email sono duplicati anche se gli altri campi differiscono. Puoi anche combinare colonne come “First Name” + “Company” per un matching più rigoroso.
Come deduplicare una lista con valori in conflitto?
I duplicati in conflitto esistono quando due record rappresentano la stessa entità ma hanno valori diversi in alcuni campi. Per gestirli: (1) scegli una Master Item Rule per decidere quale record “vince”, (2) decidi se combinare, eliminare (drop) o aggiornare (update) i valori in conflitto, (3) usa la suite di deduplicazione di Datablist per applicare tutto in bulk. Nei casi più complessi, AI Editing ti permette di scegliere valori specifici da record diversi.
Come posso segnalare i duplicati senza eliminarli?
Puoi usare AI Editing dentro la Deduplication and Matching Suite di Datablist. Scrivi un prompt tipo: “Add 'DUPLICATE' to the status column for all non-master items instead of deleting them.” Così marchi i duplicati per revisione mantenendo intatti tutti i dati: ideale per compliance o quando serve un’approvazione manuale.
Come aggiornare record duplicati senza eliminare nulla?
Aggiornare i duplicati significa sostituire valori specifici del record master con dati migliori provenienti da un’altra fonte. Per farlo, puoi usare AI Editing dentro la Deduplication and Matching Suite. L’unica cosa da fare è descrivere cosa vuoi ottenere, per esempio: “Keep records from Source A, but update the job title and company name using values from Source B.” L’AI applica la logica a tutti i gruppi di duplicati e poi puoi eliminare gli extra oppure lasciarli flaggati.