Come deduplicare una lista online senza perdere dati

Per deduplicare una lista online, scegli innanzitutto il campo che identifica una persona, un’azienda o un prodotto. Esegui un primo confronto rigoroso, controlla i gruppi di duplicati proposti, quindi unisci i valori utili o elimina le righe che non aggiungono informazioni. Così puoi pulire rapidamente i dati senza considerare ogni valore simile come una corrispondenza sicura.

Datablist riunisce l’intero processo in un unico flusso nel browser. Importa un file CSV o Excel, scegli le proprietà da confrontare, verifica le righe e i risultati, quindi esporta la lista pulita. Il controllo dei duplicati è in sola lettura finché non avvii un’azione Remove, Merge o un’elaborazione personalizzata.

Questa guida utilizza un esempio scaricabile da 1.000 righe, con copie esatte, alias email, varianti di nomi aziendali, URL differenti, semplici differenze nella formattazione dei numeri di telefono, errori di battitura, valori in conflitto e record complementari.

🔑 La regola per deduplicare in sicurezza

Usa il più piccolo identificatore affidabile per trovare le corrispondenze, ma valuta l’intera riga per decidere cosa conservare.

Deduplicare una semplice lista di valori

Se la lista contiene un valore per riga, salvala come CSV a una colonna con un’intestazione come Email, Domain o Value. Importala in Datablist ed esegui Clean > Remove duplicates sulla colonna scegliendo Exact. Controlla i gruppi, seleziona il record da conservare, elabora le righe duplicate e infine esporta i valori rimanenti.

Per esempio, una lista dimostrativa contenente alpha.example, beta.example e alpha.example dovrebbe conservare un valore alpha e uno beta dopo la rimozione della riga ripetuta. Si tratta di un semplice esempio di input e output, non di un’altra misurazione ricavata dal file scaricabile.

Consiglio questo metodo per una lista di identificatori. Se il file contiene più colonne, invece, devi risolvere record duplicati: eliminando una riga, elimini anche tutti gli altri valori presenti. Usa il flusso di unione descritto più avanti quando, per esempio, una seconda riga con la stessa email contiene un numero di telefono o una nota utile.

Tieni separati gli identificatori vuoti. Nel confronto predefinito basato sulle proprietà selezionate, l’assenza di un identificatore testuale non determina una corrispondenza. Se devi eliminare righe vuote, gestisci questa pulizia esplicitamente invece di lasciare che sia la deduplicazione a stabilire cosa rappresentano.

Scegli cosa rende unico un record

Non partire dall’algoritmo di matching. Prima definisci l’entità.

Contatti, aziende, prodotti e transazioni richiedono identificatori diversi:

Un solo passaggio raramente intercetta tutti i duplicati. Un contatto può avere la stessa email in due righe, mentre un altro può aver cambiato indirizzo email mantenendo lo stesso numero di telefono. Esegui passaggi distinti per identificatori diversi, anziché creare un’unica regola che includa tutte le proprietà.

Per esempio:

1. Confronta i contatti in base all’email.
2. Elabora i gruppi già verificati.
3. Normalizza i numeri di telefono, quindi esegui un controllo Exact sulla proprietà pulita.
4. Esegui con cautela un controllo fuzzy su nome completo più azienda.

Aggiungere email, telefono, nome e azienda a un unico controllo rende il matching più restrittivo. Una riga deve soddisfare l’intera configurazione, quindi anche un solo valore mancante può nascondere un duplicato reale.

Consulta le guide dedicate quando un identificatore richiede una normalizzazione specifica:

• Deduplicare indirizzi email e alias
• Trovare nomi aziendali duplicati
• Deduplicare un campo contenente più valori
• Normalizzare numeri di telefono locali e internazionali

Scarica la lista di esempio da 1.000 righe

Scarica il CSV dimostrativo per la deduplicazione. Contiene 1.000 righe che rappresentano 800 entità create appositamente.

Il file combina diversi casi di test:

Questi sono conteggi ground truth definiti in fase di creazione, non la promessa che ogni soglia fuzzy restituisca lo stesso risultato. Il matching basato sulla distanza può includere candidati aggiuntivi quando la soglia è bassa. Controlla i gruppi prima di elaborarli.

Ecco tre coppie presenti nel file:

Le righe presentano differenze anche in campi come posizione lavorativa, owner, stato, fatturato, fonte, tag e note. Questi conflitti rendono il file utile per testare le regole relative al master record e alla conservazione dei campi.

Importa la lista in Datablist

Apri Datablist e importa il file CSV o Excel in una collection. Una collection funziona come un foglio di calcolo strutturato: le righe sono item e le colonne sono proprietà.

Controlla i tipi di proprietà rilevati durante l’importazione:

• Le colonne email devono usare il tipo Email.
• Le colonne dei siti web devono usare URL.
• Le colonne dei numeri di telefono devono usare Phone.
• Le colonne di fatturato o quantità devono usare Number.
• Le date di attività e creazione devono usare DateTime.

Mantieni nella collection le colonne ID, fonte, owner, note e stato. Ti aiutano a scegliere il record corretto e a verificare quali dati saranno conservati dall’unione.

Esegui passaggi di matching Exact, Smart e fuzzy

Apri Clean e scegli l’azione adatta al tuo obiettivo:

• Remove duplicates quando le righe secondarie possono essere eliminate.
• Merge duplicates quando le righe contengono informazioni da conservare.
• Match across collections quando i record si trovano in collection separate.

Le prime due azioni utilizzano lo stesso motore di rilevamento. Aprono l’area dei risultati con una diversa modalità di elaborazione già selezionata.

Inizia con il matching Exact

Usa All Properties con Exact per trovare righe copiate due volte senza modifiche. Usa Selected Properties quando un campo, per esempio un ID esterno, deve essere identico.

Sul campione da 1.000 righe, questo passaggio restituisce cinque gruppi di duplicati. Ogni gruppo contiene due righe con gli stessi valori in tutte le proprietà.

Exact è il primo passaggio più sicuro, perché ogni corrispondenza conservata soddisfa un confronto rigoroso. Non troverà Acme Inc. e Acme, un numero di telefono formattato o un alias email quando i valori memorizzati sono diversi.

I visitatori non registrati possono eseguire un controllo Exact dei duplicati. Creando un account gratuito si sbloccano il confronto Smart e le altre funzionalità del piano Free.

Usa il matching Smart per i dati aziendali

Il matching Smart standardizza i valori ai fini del confronto senza riscrivere le celle memorizzate. Seleziona il processor adatto alla proprietà:

• Email gestisce maiuscole e minuscole, spazi circostanti, alias con il segno più, punti di Gmail, googlemail.com, wrapper con il nome visualizzato e valori mailto:.
• URL può ignorare protocolli e slash finale, con controlli facoltativi per sottodomini, percorsi e parametri di query.
• Phone ignora i caratteri di formattazione. Non convalida i numeri, non usa una proprietà Country e non deduce un prefisso internazionale mancante.
• Company Name rimuove i comuni termini legali, aziendali e geografici.
• Text ignora accenti, spazi, punteggiatura, simboli, maiuscole e minuscole e ordine delle parole.

Il processor Company Name, il matching multi-value e gli algoritmi avanzati richiedono un piano a pagamento. Exact e Smart sono disponibili nel piano Free per il matching all’interno di una singola collection, anche se Smart richiede un account gratuito.

Quando una cella contiene più identificatori separati da punto e virgola, abilita Multiple Values. Datablist confronta ogni parte e considera la proprietà corrispondente quando trova almeno una coppia uguale. Per esempio, una cella contenente primary@example.com;shared@example.com può corrispondere a una seconda cella contenente shared@example.com.

Sul campione dedicato da 200 righe, questa configurazione ha restituito 60 gruppi da due righe. La convalida ground truth ha individuato tutte le 60 coppie previste ed escluso tutti gli 80 record di controllo. Segui il flusso per deduplicare campi multi-value per accedere al file di esempio, al CSV dei risultati e alle indicazioni sull’unione.

Questo passaggio sulle email ha restituito 105 gruppi da due righe: 100 coppie predisposte per la normalizzazione email e le cinque coppie di copie esatte, che condividono anch’esse la stessa email.

Normalizza i numeri di telefono prima del matching

Il processor Smart Phone è utile in un caso specifico: valori con le stesse cifre ma spazi, parentesi, trattini o simboli differenti. Può associare (415) 555-0123 a 4155550123.

Non può stabilire che un numero locale e uno internazionale siano uguali. Per esempio, 06 12 34 50 08 e +33 6 12 34 50 08 richiedono informazioni sul Paese prima di poter essere confrontati.

Usa Phone Number Cleaner prima della deduplicazione basata sul telefono:

1. Mappa la proprietà Phone con il valore grezzo.
2. Per una lista relativa a un solo Paese, seleziona il Paese in Local Phone Countries. Per una lista internazionale, abilita Define country per item e mappa la proprietà Country.
3. Scrivi il risultato dell’enrichment in Clean Phone Number senza sovrascrivere il valore originale.
4. Controlla gli output non riusciti o vuoti. Non devono partecipare al matching basato sul telefono.
5. Esegui Duplicates Finder su Clean Phone Number con Exact.

Scarica il campione dedicato da 200 righe con numeri di telefono. Contiene 50 coppie in formato locale e internazionale provenienti da Stati Uniti, Francia, Regno Unito, Germania e Spagna, più 100 record di controllo non corrispondenti. La convalida con la logica del cleaner in produzione ha restituito un numero normalizzato per tutte le 200 righe. Le 50 coppie predisposte convergono in 50 valori internazionali condivisi, mentre i controlli restano unici.

Questo passaggio preliminare convalida anche il formato del numero. Mantieni le proprietà Phone e Country originali accanto all’output pulito, così potrai esaminare ogni record prima dell’unione. Leggi cosa significa normalizzare un numero di telefono per capire il ruolo dei prefissi internazionali e dei numeri in formato internazionale.

Per i record aziendali, esegui un passaggio separato su Website. Scegli Smart con il processor URL. Abilita Ignore Subdomain, Ignore Path e Ignore Query Params solo se questi componenti dell’URL non devono identificare aziende o sedi diverse.

Sullo stesso campione da 1.000 righe, questa configurazione ha restituito 200 gruppi da due righe. Cinquanta coppie contengono le varianti URL predisposte, mentre 150 condividono già un sito identico. In questo test, ogni coppia esportata è stata ricondotta allo stesso host normalizzato.

Scarica i 200 gruppi di duplicati Website oppure consulta il flusso di deduplicazione delle aziende per una strategia di matching che parte dal dominio.

Usa il matching fuzzy o fonetico per la revisione

Metaphone confronta il suono dei testi. Jaro-Winkler e Levenshtein calcolano un punteggio di somiglianza, utile per trovare differenze ortografiche come Uma Turner e Uman Turner.

Le corrispondenze fuzzy sono candidati, non duplicati confermati. Parti da una soglia elevata, esamina i gruppi più deboli e abbassa la soglia dei risultati solo finché la revisione rimane precisa.

Per un passaggio fuzzy misurabile, seleziona Full Name, scegli Distance con Levenshtein, mantieni il processor Text e imposta la soglia al 90%.

Questo controllo ha restituito 77 gruppi da due righe nel campione da 1.000 righe. La convalida ground truth ha rilevato 21 gruppi che collegano la stessa entità predisposta e 56 che collegano entità differenti. La maggior parte dei falsi positivi riguardava nomi abbreviati come G. Rossi, per i quali il solo valore Full Name non permette di distinguere due persone.

Il passaggio intercetta variazioni ortografiche previste come Uma A. Turner e Uman A. Turner, ma mostra anche perché le corrispondenze fuzzy basate solo sul nome richiedono una verifica.

Scarica i 77 gruppi Levenshtein esportati per esaminare sia le corrispondenze utili sia i falsi positivi.

Per il matching fonetico, seleziona Full Name, scegli Metaphone e mantieni il processor Text.

Questo passaggio ha mostrato 69 gruppi: 5 Ready e 64 Needs review. I gruppi esportati contengono 188 righe. La convalida rispetto alle entità note del campione ha rilevato 19 gruppi puri relativi alla stessa entità e 50 gruppi che combinano persone diverse. Le dimensioni variano da due a sette righe.

Why matched conferma la proprietà Full Name, l’algoritmo Metaphone, il processor Text e il punteggio del gruppo. Usa questi dettagli per verificare il confronto, non per sostituire un controllo dell’identità.

Scarica i 69 gruppi Metaphone esportati per esaminare le corrispondenze fonetiche utili e i falsi positivi. I gruppi di falsi positivi più grandi spesso combinano iniziali e cognomi comuni, come diversi nomi Rossi abbreviati. I loro codici fonetici coincidono, ma i soli nomi non offrono prove sufficienti per un’unione automatica.

La pagina dei risultati presenta due controlli:

• Include matches from stabilisce quali gruppi visualizzare.
• Process automatically from mantiene i gruppi con affidabilità inferiore in Needs review, escludendoli dall’elaborazione in batch.

Questa separazione permette di esaminare un insieme ampio di candidati senza applicare a tutti la stessa regola di automazione.

Controlla i gruppi di duplicati

L’area dei risultati divide i gruppi di duplicati tra Ready e Needs review.

• I gruppi Ready hanno un risultato di elaborazione concreto e raggiungono la soglia di affidabilità automatica.
• I gruppi Needs review presentano un’affidabilità inferiore, conflitti di unione irrisolti, una regola di selezione del record senza corrispondenza o una regola personalizzata che li ha ignorati.

Per ogni gruppo incerto, verifica:

• Ogni riga rappresenta la stessa persona, azienda o prodotto?
• Quale identificatore ha generato la corrispondenza?
• Sono presenti valori complementari?
• Qual è la fonte autorevole?
• Eliminando una riga perderesti un telefono, un ID, uno stato, una data o una nota?
• Il gruppo è collegato tramite un terzo record poco affidabile?

Usa Why matched per controllare proprietà, algoritmi, processor e intervalli di punteggio del matching. Nei controlli fuzzy, la somiglianza del gruppo corrisponde alla connessione mantenuta più debole necessaria per tenere insieme il gruppo.

Puoi anche:

• Confermare una corrispondenza con bassa affidabilità.
• Rimuovere un record da un gruppo senza eliminarlo.
• Ignorare il gruppo.
• Aprire e modificare un record.
• Esaminare il gruppo in Merging Assistant.
• Cercare tra tutti i gruppi rimanenti e ordinare prima i candidati più rischiosi.

⚠️ Non elaborare un gruppo fuzzy basandoti solo sulla percentuale

Nomi simili possono appartenere a persone diverse. Controlla gli identificatori e i campi circostanti prima di confermare il gruppo.

Controlla identificatori condivisi e mancanti

Una casella condivisa come info@company.example può appartenere a più contatti. Due persone con quell’indirizzo possono corrispondere in base all’Email pur restando individui distinti. Allo stesso modo, un dominio aziendale può identificare un’impresa ma comparire nei record di molti dipendenti.

Terrei questi gruppi fuori dall’unione automatica a livello di persona finché un altro identificatore non conferma la corrispondenza. Se invece vuoi ottenere una riga per azienda, il dominio condiviso può essere la chiave di raggruppamento corretta. Definisci l’entità prima di interpretare il risultato.

Anche la regola sui valori vuoti modifica il confronto basato sulle proprietà selezionate. Per un controllo su più proprietà con un confronto diverso da Exact, l’impostazione avanzata Empty Value Rule offre Value required (default) oppure Match on empty value. L’opzione predefinita richiede la presenza dell’identificatore testuale; consentire le corrispondenze tra valori vuoti rende il requisito meno restrittivo. Usale solo quando gli altri campi di matching forniscono prove sufficienti sull’identità: due email mancanti non dimostrano che due persone siano la stessa.

Per esempio, due righe con Email vuota e valori Full Name differenti non devono essere unite solo per ridurre il numero di righe. Un record senza email può comunque contenere un contatto da conservare o arricchire in seguito.

Elimina, unisci o applica regole personalizzate

Trovare i duplicati e gestirli sono due decisioni distinte. Scegli la modalità di elaborazione dopo aver verificato cosa contengono le righe secondarie.

Elimina i duplicati quando una riga è autorevole

Remove duplicates mantiene invariato un record selezionato ed elimina le altre righe di ogni gruppo Ready.

Usalo per righe copiate, importazioni temporanee o record i cui valori secondari possono essere scartati. L’anteprima segnala quando i record da rimuovere contengono informazioni aggiuntive o in conflitto. Questi valori non vengono copiati nella riga conservata.

Unisci le righe che contengono dati utili

Merge and preserve data compila le proprietà vuote del record selezionato, risolve i conflitti configurati e infine elimina le righe secondarie.

Parti dalla regola Record to keep. Most Complete è l’opzione predefinita. I piani a pagamento permettono di selezionare regole basate su data di creazione, data di aggiornamento, valore più alto o più basso di una proprietà oppure presenza di un valore obbligatorio.

Decidi quindi come conservare ogni proprietà in conflitto:

• Combina valori testuali distinti usando un delimitatore.
• Mantieni il valore del record selezionato.
• Nei piani a pagamento, scegli i valori singolarmente con regole come più recente, meno recente, più lungo, più corto, più alto, più basso o più frequente.

Usa le regole a livello di campo quando nessuna singola riga contiene il valore migliore per ogni proprietà. Puoi conservare l’ID del record selezionato e, allo stesso tempo, acquisire dalle altre righe la posizione lavorativa più recente, il nome aziendale più lungo e lo stato più frequente.

Aggiorna l’anteprima dopo aver modificato soglia, workflow, composizione del gruppo, impostazioni dei conflitti o regola di selezione del record.

Usa Custom with AI per una logica specifica

Custom with AI genera un workflow di elaborazione dei gruppi a partire da un’istruzione in linguaggio naturale. Può selezionare un record, copiare o normalizzare valori, aggiungere una proprietà di stato, calcolare il totale del gruppo, eliminare righe secondarie o ignorare i gruppi che non soddisfano una condizione.

Per esempio:

Conserva il record la cui Source è CRM export. Copia il Job Title dal record più recente, combina le Notes distinte separandole con interruzioni di riga, aggiungi una checkbox Duplicate Reviewed, quindi elimina i record secondari.

Fai riferimento alle proprietà della collection con /Property o {{Property}}. Genera e controlla l’anteprima del workflow prima di eseguirlo. Custom with AI è disponibile per gli utenti autenticati con un piano a pagamento.

Per le singole eccezioni, apri Review group e usa Merging Assistant anziché complicare ulteriormente la regola in batch.

Verifica ed esporta la lista pulita

Prima di elaborare i gruppi Ready, verifica che:

• L’anteprima rifletta le impostazioni correnti.
• I gruppi con scarsa affidabilità o identificatori condivisi siano stati controllati.
• Il record selezionato contenga l’ID da conservare.
• I valori unici di telefono, fonte, nota e stato vengano mantenuti.
• I campi che accettano un solo valore non vengano concatenati.
• Il numero di gruppi Ready visualizzato corrisponda all’ambito che vuoi elaborare.

Dopo l’elaborazione, verifica il numero di righe:

Righe iniziali - righe secondarie eliminate = righe finali

Nel passaggio Exact di questa guida, Datablist ha unito cinque gruppi da due righe. La collection è quindi passata da 1.000 a 995 item.

Scarica i gruppi di duplicati prima dell’elaborazione se ti serve un file esterno per la revisione. I piani a pagamento includono ID dei gruppi utilizzabili e il change log successivo all’elaborazione. Il change log registra gli ID Datablist eliminati e aggiornati, insieme ai valori precedenti e a quelli di destinazione.

Anche le operazioni automatiche di rimozione e unione compaiono nella History della collection, da cui puoi annullarle.

Torna alla collection e apri Export per scaricare il file CSV o Excel pulito.

Deduplicare più liste

Usa il matching tra collection quando devi confrontare un nuovo file di lead con un export del CRM. Considera il CRM come lista di riferimento e rimuovi le corrispondenze dalla lista in entrata prima dell’importazione.

Scarica il file CRM dimostrativo e il file evento dimostrativo per provare questo workflow. I due file usano intestazioni diverse e contengono 100 sovrapposizioni email predisposte. Ogni file contiene inizialmente 250 righe.

Importa ciascun file in una collection separata, quindi apri Clean > Match across collections. Aggiungi entrambe le collection e mappa le proprietà corrispondenti, per esempio Email con Attendee Email.

In questo test, il matching Smart con il processor Email ha restituito 100 gruppi tra collection su 500 record controllati. Seleziona Event Registrations in Remove duplicate items from collection {X} per lasciare invariato il CRM ed eliminare le relative corrispondenze dalla lista dell’evento.

La pulizia automatica tra collection elimina le righe. Non unisce nel CRM i valori unici provenienti dall’evento. Esporta o controlla prima i gruppi se i record in entrata contengono informazioni da conservare.

Dopo l’elaborazione delle 100 sovrapposizioni, Event Registrations contiene 150 nuovi contatti netti.

Il matching tra collection è una funzionalità Premium. Consulta la guida dettagliata per deduplicare più file CSV o Excel e scoprire le opzioni di mappatura ed elaborazione delle collection.

FAQ

Posso deduplicare gratis una lista online?

Sì. I visitatori non registrati possono eseguire un controllo Exact. Un account gratuito sblocca il matching Smart e le altre funzionalità del piano Free per una singola collection. Gli algoritmi fuzzy e fonetici, i processor avanzati, il matching tra collection, le regole di conservazione configurabili e Custom with AI richiedono un piano a pagamento.

È meglio eliminare o unire le righe duplicate?

Elimina le righe quando un record è autorevole e gli altri non contengono dati utili. Uniscile quando le righe secondarie includono valori da conservare. L’anteprima di Remove segnala gli eventuali dati che verrebbero scartati.

Datablist trova duplicati con errori di battitura?

Sì. Jaro-Winkler e Levenshtein confrontano la somiglianza dei testi, mentre Metaphone ne confronta il suono. Questi algoritmi avanzati richiedono un piano a pagamento e le corrispondenze ottenute devono essere controllate.

Posso unire righe duplicate senza perdere dati?

Datablist può compilare i campi vuoti, combinare valori testuali, mantenere il valore del record selezionato o applicare regole di conservazione a livello di campo. Controlla l’anteprima, perché qualsiasi valore che scegli di scartare non comparirà nel record unito.

Quanto può essere grande la lista?

Il piano Free supporta fino a 1 milione di item per collection nella memoria del browser. I piani a pagamento consentono di importare fino a 2 milioni di item per collection. Le operazioni locali su grandi volumi dipendono comunque dal browser e dal dispositivo.

Posso controllare i duplicati senza modificare la lista?

Sì. Il rilevamento è in sola lettura. Puoi esaminare i gruppi, regolare le soglie, usare Why matched, cercare e ordinare i risultati e scaricare le righe duplicate prima di avviare un’azione di elaborazione.

Per conoscere tutte le impostazioni e le limitazioni, consulta la documentazione completa di Duplicate Finder.