Per rimuovere in sicurezza le righe duplicate da un CSV, confronta la colonna che identifica ogni record, verifica i gruppi proposti, quindi elimina le righe ridondanti oppure unisci i valori che vuoi conservare. La procedura funziona sia con un singolo file CSV sia con più file importati nella stessa collection Datablist.
Per il primo controllo, usa email, telefono, sito web aziendale, SKU o un altro identificatore stabile. Se i valori presentano differenze di ortografia o formattazione, scegli il matching Smart, fuzzy o fonetico e lascia in revisione i gruppi incerti.
Unire i duplicati nei file CSV
Datablist è perfetto per eseguire operazioni sui dati difficili da gestire con i fogli di calcolo. Usalo se cerchi un ottimo editor CSV online.
In questa guida lavoreremo con 2 file CSV contenenti migliaia di voci. Li caricheremo in un'unica collection e rimuoveremo i duplicati in base a una delle 4 colonne. La deduplicazione funziona anche su un singolo file CSV.
📘 Scarica i file CSV del tutorial
I file scaricabili hanno quattro intestazioni: firstname, lastname, email e profession (ruolo professionale). Il File 1 contiene 1.000 righe di dati e il File 2 ne contiene 1.003, per un totale di 2.003 righe prima della deduplicazione. Vogliamo unire i record che condividono lo stesso indirizzo email.
Se il campo email contiene più indirizzi nella stessa cella, dividi in righe le celle CSV con più valori prima di avviare il rilevamento dei duplicati. Se il file esportato è troppo grande per essere importato o controllato in sicurezza, dividi il file CSV di grandi dimensioni prima della deduplicazione.
La procedura per unire i duplicati si può riassumere così:
- Carica i file CSV in una collection Datablist
- Seleziona le proprietà da controllare
- Unisci automaticamente i duplicati senza conflitti
- Unisci manualmente i duplicati rimanenti
Passaggio 1: caricare i file CSV in Datablist
Creare una nuova collection
Il primo passaggio consiste nel caricare il file CSV in Datablist. Per iniziare, apri Datablist (senza registrazione).
Per creare una nuova collection, fai clic sul pulsante "New collection" con il simbolo +. Una volta creata, assegnale un nome e un'icona.
Quindi fai clic sul pulsante Import CSV.
Creare le proprietà del file CSV
Dopo aver caricato il file CSV, puoi creare le proprietà della collection usando i nomi delle colonne. Datablist elenca tutte le colonne presenti nel CSV, così puoi creare una proprietà per ciascuna di esse.
I file CSV non dichiarano il tipo delle colonne. Datablist suggerisce i tipi in base ai valori importati, per semplificare ordinamento e filtri. Controlla questi suggerimenti prima dell'importazione.
È consigliabile mantenere come Text identificatori quali SKU, account ID o codice postale. Per esempio, convertendo 00127 in Number si perdono gli zeri iniziali e si modifica la chiave di matching. Se hai dubbi sul tipo da scegliere, consulta la guida ai tipi di proprietà.
Controllare e importare i dati
Durante la revisione, le righe vengono mostrate direttamente dal file CSV. Assicurati che i dati siano coerenti e formattati correttamente. Quindi fai clic sul pulsante "Import items": fatto! 💪
Ripetere l'operazione per gli altri file CSV
Ora che la collection e le relative proprietà sono configurate, ripeti la procedura "Import CSV/Excel" per importare nella stessa collection gli altri file CSV o Excel.
Passaggio 2: trovare i duplicati
Dopo aver caricato i file CSV, apri Clean > Merge duplicates. Se invece le righe aggiuntive non contengono dati da conservare, scegli Remove duplicates.
Sono disponibili due modalità:
- All Properties confronta le righe complete.
- Selected Properties confronta solo le colonne che identificano il record.
In questo caso, la proprietà email è sufficiente per identificare un contatto: puoi quindi scegliere la modalità Selected Properties con la proprietà email.
Per riprodurre il controllo numerico con i due file del tutorial, seleziona il matching Exact su email: troverai otto gruppi di duplicati, ognuno composto da due righe. Dopo aver ridotto tutti gli otto gruppi a una sola riga, il CSV esportato dovrà contenere 1.995 righe di dati, esclusa l'intestazione. Se il totale è diverso, verifica di aver importato entrambi i file una sola volta, che la colonna di matching sia email e che non siano rimasti gruppi da elaborare.
Se alias o indirizzi wrapper rendono diversi i valori, usa il workflow specifico per le email per deduplicare queste varianti.
Il controllo è di sola lettura. L'area dei risultati elenca i gruppi, spiega perché sono stati abbinati e separa quelli Ready dalle corrispondenze che richiedono una revisione.
Rimuovere righe CSV duplicate senza unirle
Se vuoi soltanto eliminare le righe, scegli Remove duplicates nell'area dei risultati:
- Controlla Record to keep. L'impostazione predefinita è Most Complete; le altre regole di selezione del record richiedono un piano a pagamento. La riga scelta rimane invariata.
- Apri alcuni gruppi e confronta le righe contrassegnate come Keep e Remove. Verifica se quelle da eliminare contengono un numero di telefono, una nota o un valore più recente che vuoi conservare.
- Se questi valori sono importanti, scegli Merge and preserve data e segui il Passaggio 3. La semplice rimozione non copia i valori aggiuntivi nella riga conservata.
- Quando i gruppi Ready corrispondono alle tue intenzioni, fai clic su Remove ready duplicates. Prima di confermare, controlla l'eventuale avviso relativo alla perdita di dati.
Per esempio, due righe identiche con la stessa email possono essere ridotte a una. Se invece condividono la stessa email ma hanno numeri di telefono diversi, devi decidere se mantenere invariato uno dei record oppure unire i numeri nel record di destinazione.
Scegli le colonne di matching prima di decidere quale riga conservare. All Properties individua le righe completamente identiche. Selected Properties può raggruppare lo stesso contatto anche quando ruolo professionale o numero di telefono sono diversi. Il solo sito web aziendale è un criterio troppo generico se più contatti lavorano nella stessa azienda.
Conserva i file CSV originali. Dopo l'elaborazione, confronta il numero di righe eliminate con i gruppi controllati, verifica gli identificatori rimasti ed esporta la collection ripulita in formato CSV. Le righe ancora in attesa di revisione possono restare nella collection: completare un batch non significa necessariamente aver risolto ogni possibile duplicato.
Passaggio 3: unire automaticamente i duplicati
Scegli Merge and preserve data quando le righe CSV secondarie contengono valori utili. Datablist seleziona un record di destinazione, compila le proprietà vuote e applica le regole definite per i conflitti prima di eliminare le righe secondarie.
L'anteprima separa i gruppi Ready da quelli con conflitti non risolti. Consulta la documentazione di Duplicate Finder per scoprire tutte le impostazioni di revisione, survivorship e selezione dei record.
Espandi Resolve conflicting values per vedere quali proprietà richiedono ancora una regola.
Unire righe senza conflitti
L'algoritmo "Merge non-conflicting duplicates" esegue uno "smart merge", unendo i record con valori simili o complementari.
Per esempio, i seguenti duplicati:
email | Nome | Cognome
james@gmail.com | James
james@gmail.com | | Bond
Verranno uniti in:
email | Nome | Cognome
james@gmail.com | James | Bond
Combinare i valori duplicati
Combinare, o consolidare, i valori duplicati è la soluzione ideale quando esistono valori in conflitto, ma vuoi comunque unire i record senza perdere dati.
Per esempio, combinando la proprietà Phone con un punto e virgola:
email | Telefono | Nome | Cognome
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Otterrai:
email | Telefono | Nome | Cognome
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
È possibile combinare qualsiasi proprietà contenente testo. I delimitatori disponibili sono line break, semi-colon, comma e space. Durante l'unione puoi combinare una o più proprietà.
Unire gli elementi duplicati e combinarne i valori è ideale per la pulizia di lead e CRM. Unisci tutti i lead duplicati e combina le proprietà Phone, Email e Notes per ottenere una lista pulita. Dopo aver esportato il CSV, ti basterà reimportarlo nel CRM.
Conservare il valore del record selezionato
Questa regola conserva il valore del record di destinazione selezionato ed elimina gli altri valori in conflitto.
Most Complete è la regola predefinita di Record to keep. Con i piani a pagamento puoi scegliere altre regole oppure selezionare separatamente i valori dei campi tramite le regole di survivorship.
Usa l'opzione drop conflicting values per:
- Proprietà tecniche come
Account Id, che richiedono un solo valore. - Proprietà di tipo "Relation", che non possono contenere più valori. Per esempio
Lead ownereAccount. - Proprietà non testuali che non possono essere combinate. Per esempio date e ore come
Last ActivityeContacted on, oppure checkbox.
Passaggio 4: unire manualmente i duplicati
Apri Review group quando un gruppo di duplicati richiede una decisione manuale. Il Merging Assistant ti permette di scegliere il record di destinazione e il valore da conservare per ogni proprietà.
Il record di destinazione selezionato manualmente mantiene il proprio ID Datablist. Le altre righe diventano record secondari.
Controlla ogni proprietà, seleziona i valori da conservare e conferma l'unione. Puoi anche escludere una riga dal gruppo di duplicati o ignorare l'intero gruppo.
Esportare il risultato in CSV
Complimenti, hai eliminato i duplicati dai tuoi file CSV! Se vuoi usare il risultato in un altro strumento, fai clic sul pulsante "Export" per esportare la collection come nuovo file CSV.
FAQ
Quali altre operazioni sui dati offre Datablist?
I file CSV sono usati ovunque per rappresentare dati strutturati destinati ad applicazioni software o data set. Nonostante siano così diffusi, manipolarli è complicato e spesso richiede competenze tecniche.
Per le operazioni più semplici bastano i fogli di calcolo. Tuttavia, mostrano i loro limiti quando devi:
📘 Devi unire più file CSV?
Se vuoi collegare più file CSV tramite una colonna univoca, consulta la guida su come unire file CSV.
Datablist può gestire file CSV di grandi dimensioni?
Il piano Free supporta fino a 1 milione di elementi per collection nella memoria del browser. I piani a pagamento consentono di importare fino a 2 milioni di elementi per collection. Le operazioni locali più impegnative dipendono comunque dal browser e dal dispositivo. Scopri come modificare file CSV di grandi dimensioni.
La deduplicazione è migliore di Remove duplicates di Excel e Google Sheets?
I fogli di calcolo (Microsoft Excel e Google Sheets) includono uno strumento di deduplicazione che elimina le righe simili. Nei casi d'uso aziendali, però, limitarsi a cancellare le righe non è la soluzione ideale.
Datablist mostra i gruppi di duplicati prima di modificare il file. Puoi eliminare le righe ridondanti, unire valori complementari, risolvere i conflitti oppure lasciare invariati i gruppi incerti.
Per qualsiasi domanda, puoi contattarci.








