Per eliminare in sicurezza le righe duplicate da un CSV, confronta la colonna che identifica ciascun record, verifica i gruppi proposti, quindi rimuovi le righe ridondanti oppure unisci i valori che vuoi conservare. Il metodo funziona sia con un singolo file CSV sia con più file importati nella stessa collection di Datablist.
Per una prima analisi, usa l'email, il numero di telefono, il sito web aziendale, lo SKU o un altro identificatore stabile. Se i valori presentano differenze di ortografia o formattazione, utilizza il confronto Smart, fuzzy o fonetico e lascia in revisione i gruppi incerti.
Unire i duplicati nei file CSV
Datablist è ideale per eseguire operazioni sui dati che non sono possibili con i fogli di calcolo. Usalo se cerchi un valido editor CSV online.
In questa guida lavoreremo con due file CSV contenenti migliaia di voci. Li caricheremo in un'unica collection ed elimineremo i duplicati in base a una delle quattro colonne. La deduplicazione funziona anche su un singolo file CSV.
Per scaricare i file CSV del tutorial: File CSV 1 e File CSV 2
Il file CSV contiene quattro colonne: First Name, Last Name, Email, Job Title. Vogliamo unire le voci che condividono lo stesso indirizzo email.
Se il campo email contiene più indirizzi in una sola cella, suddividi in righe le celle CSV con più valori prima di avviare il rilevamento dei duplicati. Se il file esportato è troppo grande per essere importato o verificato in sicurezza, dividi il file CSV di grandi dimensioni prima della deduplicazione.
Il processo per unire i duplicati può essere riassunto così:
- Carica i file CSV in una collection di Datablist
- Seleziona le proprietà da usare per individuare i duplicati
- Unisci automaticamente i duplicati senza conflitti
- Unisci manualmente i duplicati rimanenti
Step 1: caricare i file CSV in Datablist
Creare una nuova collection
Il primo passaggio consiste nel caricare il file CSV in Datablist. Per iniziare, apri Datablist (non è richiesta la registrazione).
Per creare una nuova collection, fai clic sul pulsante "New collection" con il simbolo +. Una volta creata, assegnale un nome e un'icona.
Quindi fai clic sul pulsante Import CSV.
Creare le proprietà per il file CSV
Una volta caricato il file CSV, puoi creare le proprietà della collection usando i nomi delle colonne. Datablist elenca tutte le colonne trovate nel CSV, così puoi creare una proprietà per ciascuna di esse.
I file CSV non dichiarano il tipo delle colonne. Datablist suggerisce i tipi in base ai valori importati, per semplificare ordinamento e filtri. Verifica questi suggerimenti prima dell'importazione.
Per gli identificatori come SKU, ID account o codice postale, mantengo il tipo Text. Convertire 00127 in Number, ad esempio, elimina gli zeri iniziali e modifica la chiave usata per il confronto. Se non sai quale tipo scegliere, consulta la guida ai tipi di proprietà.
Verificare e importare i dati
Durante la verifica, le righe verranno mostrate direttamente dal file CSV. Assicurati che i dati siano formattati correttamente e coerenti. Poi fai clic sul pulsante "Import items": fatto! 💪
Ripetere l'operazione per gli altri file CSV
Ora che hai una collection con le proprietà configurate, ripeti la procedura "Import CSV/Excel" per importare nella stessa collection gli altri file CSV o Excel.
Step 2: trovare i duplicati
Dopo aver caricato i file CSV, apri Clean > Merge duplicates. Scegli invece Remove duplicates se le righe aggiuntive non contengono dati da conservare.
Sono disponibili due modalità:
- All Properties confronta le righe complete.
- Selected Properties confronta soltanto le colonne che identificano il record.
In questo caso, la proprietà email è sufficiente per identificare un contatto: puoi quindi selezionare la modalità Selected Properties e scegliere la proprietà email.
Se alias o indirizzi wrapper rendono diversi i valori, usa il workflow specifico per le email per deduplicare queste varianti.
Il controllo è di sola lettura. L'area dei risultati elenca i gruppi, spiega perché sono stati associati e separa quelli Ready dalle corrispondenze che richiedono una verifica.
Rimuovere righe CSV duplicate senza unirle
Se vuoi soltanto eliminare le righe, scegli Remove duplicates nell'area dei risultati:
- Controlla Record to keep. L'impostazione predefinita è Most Complete; le altre regole per la selezione del record richiedono un piano a pagamento. La riga scelta rimane invariata.
- Apri alcuni gruppi e confronta le righe contrassegnate come Keep e Remove. Verifica se quelle da rimuovere contengono un numero di telefono, una nota o un valore più recente che vuoi conservare.
- Se questi valori sono importanti, scegli Merge and preserve data e segui lo Step 3. La semplice rimozione non copia i valori aggiuntivi nella riga conservata.
- Quando i gruppi Ready corrispondono al risultato desiderato, fai clic su Remove ready duplicates. Prima di confermare, controlla l'eventuale avviso sulla perdita di dati.
Per esempio, due righe identiche con la stessa email possono essere ridotte a una sola. Se invece due righe hanno la stessa email ma numeri di telefono diversi, devi scegliere se mantenere invariato uno dei record oppure unire i numeri nel record di destinazione.
Scegli le colonne da confrontare prima di decidere quale riga conservare. All Properties individua le righe complete identiche. Selected Properties può raggruppare lo stesso contatto anche quando qualifica professionale o numero di telefono sono diversi. Il solo sito web aziendale è un criterio troppo generico quando più contatti lavorano nella stessa azienda.
Conserva i file CSV originali. Al termine, confronta il numero di righe rimosse con i gruppi verificati, controlla gli identificatori mantenuti ed esporta la collection pulita in formato CSV. Le righe ancora da verificare possono rimanere nella collection: completare un'elaborazione non significa necessariamente aver risolto ogni possibile duplicato.
Step 3: unire automaticamente i duplicati
Scegli Merge and preserve data quando le righe CSV secondarie contengono valori utili. Datablist seleziona un record di destinazione, compila le proprietà vuote e applica le regole definite per i conflitti prima di eliminare le righe secondarie.
L'anteprima separa i gruppi Ready da quelli con conflitti ancora da risolvere. Consulta la documentazione di Duplicate Finder per tutti i dettagli sulle impostazioni di verifica, survivorship e selezione dei record.
Espandi Resolve conflicting values per vedere quali proprietà richiedono ancora una regola.
Unire righe senza conflitti
L'algoritmo "Merge non-conflicting duplicates" esegue uno "smart merge", unendo i record con valori simili o complementari.
Per esempio, questi duplicati:
email | First Name | Last Name
james@gmail.com | James
james@gmail.com | | Bond
Verranno uniti così:
email | First Name | Last Name
james@gmail.com | James | Bond
Combinare i valori duplicati
Combinare, o consolidare, i valori duplicati è la soluzione ideale quando esistono valori in conflitto, ma vuoi comunque unire i record senza perdere dati.
Per esempio, combinando la proprietà Phone con un punto e virgola:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Il risultato sarà:
email | Phone | First Name | Last Name
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
È possibile combinare qualsiasi proprietà contenente testo. I delimitatori disponibili sono line break, semi-colon, comma e space. Durante l'unione puoi combinare una o più proprietà.
Unire gli elementi duplicati e combinarne i valori è particolarmente utile per la pulizia di Lead e CRM. Unisci tutti i Lead duplicati e combina le proprietà Phone, Email e Notes per ottenere una lista pulita. Dopo aver esportato il CSV, ti basterà reimportarlo nel CRM.
Conservare il valore del record selezionato
Questa regola conserva il valore del record di destinazione selezionato ed elimina gli altri valori in conflitto.
Most Complete è la regola predefinita di Record to keep. Con i piani a pagamento puoi scegliere altre regole oppure selezionare separatamente i valori dei campi tramite le regole di survivorship.
Usa l'opzione drop conflicting values per:
- Proprietà tecniche come
Account Id, che richiedono un solo valore. - Proprietà di tipo "Relation", che non possono avere più valori, come
Lead ownereAccount. - Proprietà non testuali che non possono essere combinate, per esempio date e orari come
Last ActivityeContacted on, oppure le checkbox.
Step 4: unire manualmente i duplicati
Apri Review group quando un gruppo di duplicati richiede una decisione manuale. Il Merging Assistant ti permette di scegliere il record di destinazione e il valore da conservare per ogni proprietà.
Il record di destinazione selezionato manualmente conserva il proprio ID Datablist. Le altre righe diventano record secondari.
Controlla ogni proprietà, seleziona i valori da conservare e conferma l'unione. Puoi anche escludere una riga dal gruppo di duplicati oppure ignorare l'intero gruppo.
Esportare il risultato in CSV
Complimenti, hai eliminato correttamente i duplicati dai tuoi file CSV! Se vuoi usare il risultato in un altro strumento, fai clic sul pulsante "Export" per esportare la collection in un nuovo file CSV.
FAQ
Quali altre operazioni sui dati offre Datablist?
I file CSV sono usati ovunque per rappresentare dati strutturati destinati ad applicazioni software o set di dati. Nonostante siano così diffusi, manipolarli è complesso e spesso richiede competenze tecniche.
Per le operazioni più semplici sono sufficienti i fogli di calcolo. Tuttavia, mostrano i propri limiti quando devi:
Se hai più file CSV da unire tramite una colonna univoca, consulta la guida su come unire file CSV.
Datablist può gestire file CSV di grandi dimensioni?
Il piano Free supporta fino a un milione di elementi per collection nello spazio di archiviazione del browser. I piani a pagamento consentono di importare fino a due milioni di elementi per collection. Le operazioni locali su file di grandi dimensioni dipendono comunque dal browser e dal dispositivo. Scopri come modificare file CSV di grandi dimensioni.
L'algoritmo di deduplicazione è migliore delle funzioni di Microsoft Excel e Google Sheets?
I fogli di calcolo, come Microsoft Excel e Google Sheets, includono uno strumento per eliminare i duplicati, che funziona rimuovendo le righe simili. Nei casi d'uso aziendali, però, cancellare semplicemente le righe non è la soluzione ideale.
Datablist mostra i gruppi di duplicati prima di modificare il file. Puoi rimuovere le righe ridondanti, unire valori complementari, risolvere i conflitti oppure lasciare invariati i gruppi incerti.
Per qualsiasi domanda, puoi contattarci.