La pulizia dei dati consiste nell’individuare e correggere gli errori presenti in un dataset prima di utilizzarlo. In una lista di Lead può significare correggere le date, eliminare gli spazi superflui, separare nomi e cognomi e unire i contatti duplicati. Questa guida mostra come eseguire queste operazioni in Datablist e verificare il risultato prima di esportare o arricchire la lista.
Inizia dalle colonne che identificano un record, come l’indirizzo email o il dominio aziendale. Uniformane il formato, controlla i duplicati e poi converti o estrai gli altri valori necessari. Controlla un campione di righe dopo ogni operazione per assicurarti che una regola di formattazione non modifichi dati validi.
Ecco un riepilogo delle operazioni di pulizia illustrate nell’articolo:
- Convertire il testo in data e ora, numero o valore booleano
- Convertire HTML in testo rimuovendo i tag
- Rimuovere gli spazi superflui
- Normalizzare i dati
- Rimuovere i simboli dai testi
- Separare nome e cognome
- Eliminare i record duplicati
- Estrarre indirizzi email, URL e altri dati dai testi
- Usare le espressioni regolari per filtrare e validare i dati
- Creare trasformazioni personalizzate in JavaScript
- Validare gli indirizzi email
Importare dati da CSV o con copia e incolla
Datablist è lo strumento ideale per pulire i dati. È un editor CSV online con funzionalità di pulizia, modifica in blocco e arricchimento. Inoltre, ogni collection può contenere milioni di elementi.
Per i campi di testo multilingue, puoi aggiungere etichette linguistiche alle righe in lingue diverse prima di filtrarle, smistarle o tradurle.
Apri Datablist e carica le collection contenenti le tue fonti di dati.
Per creare una nuova collection, fai clic sul pulsante + nella barra laterale. Quindi seleziona "Import CSV/Excel" per caricare il file. In alternativa, usa il collegamento rapido nella pagina introduttiva per passare direttamente all’importazione.
Rilevare automaticamente il formato
Durante l’importazione, l’assistente di Datablist riconosce automaticamente indirizzi email, date e orari in formato ISO 8601, valori booleani, numeri, URL e altro ancora, purché siano formattati correttamente.
Se i tuoi dati richiedono un’analisi più complessa, ad esempio perché usano formati di data differenti o contengono errori negli URL o negli indirizzi email, importali come proprietà Text. Nella prossima sezione vedremo come convertirli in Datetime, Boolean o Number.
Convertire testo in data, ora, booleano o numero
Marie Kondo dice che «La vita comincia davvero dopo aver messo in ordine la casa». Lo stesso vale per i dati: «Le vendite cominciano davvero dopo aver messo in ordine i dati»! 😅
Filtrare una data (data di creazione, data del finanziamento ecc.), un numero (prezzo, numero di dipendenti) o un valore booleano è molto più semplice quando si tratta di oggetti nativi e non di semplice testo.
Apri lo strumento "Text to Datetime, Number, Checkbox" dal menu "Clean".
Convertire qualsiasi testo nel formato Datetime
Datetime utilizza uno standard internazionale chiamato ISO 8601, con una struttura ben definita. Se i tuoi dati rispettano questo formato, durante l’importazione verrà creata automaticamente una proprietà Datetime in cui salvarli.
Per valori Date e Datetime in altri formati, devi indicare il formato utilizzato affinché Datablist possa convertirli in valori Datetime strutturati.
Seleziona la proprietà da convertire e poi "Convert to Datetime".
Puoi scegliere uno dei formati più comuni, inclusi quelli usati da Google Sheets ed Excel, oppure selezionare "Custom format" per definire un formato personalizzato.
Se una singola proprietà contiene date o date e orari in formati diversi, seleziona "Custom or multiple formats" nel campo "Datetime Conversion Format". Inserisci quindi un formato per riga. Datablist proverà ogni formato a partire dalla prima riga, finché non otterrà una data valida.
👉 Consulta la documentazione per saperne di più sui formati Datetime personalizzati.
Creare checkbox da valori testuali
Durante l’importazione, Datablist converte automaticamente le colonne contenenti valori come "Yes, No" o "TRUE, FALSE" in proprietà Checkbox. Per conversioni più complesse puoi usare l’apposito strumento.
Definisci i valori, separati da virgole, da convertire in una checkbox selezionata. Tutti gli altri valori rimarranno non selezionati.
Estrarre valori numerici dai testi
Usa il convertitore "Text to number" per:
- Uniformare i numeri con separatori decimali e delle migliaia personalizzati
- Estrarre numeri da testi contenenti lettere
👉 Consulta la documentazione per saperne di più sulla conversione dei numeri.
Pulire i dati
Convertire HTML in testo
Gli strumenti di scraping analizzano il codice HTML, quindi i testi estratti possono contenere tag HTML.
Il codice HTML include link, immagini ed elenchi puntati ed è organizzato in paragrafi e su più righe.
L’obiettivo è conservare parte della struttura fornita dall’HTML, trasformando però il codice illeggibile in testo semplice.
Il convertitore HTML to Text di Datablist mantiene le interruzioni di riga e trasforma i punti elenco in liste precedute da -.
Per trasformare il testo contenente tag HTML in testo semplice, apri lo strumento Bulk Edit dal menu Edit.
Seleziona la proprietà contenente i tag HTML, quindi scegli "Convert HTML into plain text".
Rimuovere gli spazi superflui
Un altro problema frequente nei dati disordinati è la presenza di spazi superflui. Possono derivare da nuove righe, caratteri Tab e altri caratteri che nell’HTML rappresentano uno spazio.
Datablist include uno strumento di pulizia che permette di eliminarli.
Sono disponibili due modalità:
- Modalità 1: rimuove tutti gli spazi. È utile per pulire numeri di telefono, prezzi e altri valori che devono contenere soltanto lettere, cifre o caratteri specifici.
- Modalità 2: rimuove soltanto gli "spazi superflui".
Nella seconda modalità, l’algoritmo:
- Elimina gli spazi in eccesso tra le parole
- Elimina le righe vuote
- Elimina gli spazi all’inizio e alla fine di ogni riga
Per rimuovere gli spazi superflui, apri lo strumento "Bulk Edit" dal menu "Edit". Seleziona la proprietà e l’azione "Remove extra spaces".
Attiva l’opzione "Remove all spaces" per eliminare ogni spazio. Lasciala disattivata per rimuovere soltanto quelli superflui.
Ecco un esempio di come l’algoritmo elimina gli spazi in eccesso:
Dopo la pulizia, il testo non contiene più spazi superflui:
Correggere maiuscole e minuscole
Cambiare maiuscole e minuscole nel testo è semplice. Apri lo strumento "Bulk Edit" dal menu "Edit".
Seleziona la proprietà da elaborare e usa l’azione "Change text case".
Sono disponibili quattro modalità:
- Uppercase - Converte tutte le lettere in maiuscolo. Esempio:
john=>JOHN - Lowercase - Converte tutte le lettere in minuscolo. Esempio:
API=>api - Capitalize - Scrive in maiuscolo la prima lettera di ogni parola. Esempio:
john is a good man=>John Is A Good Man - Capitalize only the first word - Scrive in maiuscolo soltanto la prima lettera della prima parola. Esempio:
john is a good man=>John is a good man
Rimuovere i simboli dai testi
I testi estratti da pagine HTML o inseriti dagli utenti, come i titoli dei profili LinkedIn, possono contenere simboli, emoticon e altri caratteri che compromettono l’elaborazione dei dati. Anche una semplice faccina alla fine di un nome può impedirne il riconoscimento da parte di un algoritmo di deduplicazione.
Datablist include un processore che elimina dai dati tutti i simboli non testuali.
Fai clic su "Bulk Edit" nel menu "Edit", seleziona una proprietà di testo e scegli la trasformazione "Remove symbols".
Se l’anteprima è corretta, avvia la trasformazione per elaborare gli elementi.
Normalizzare con Trova e sostituisci
Per creare segmenti nelle tue liste di prospect, devi normalizzare i dati.
- Normalizzare i job title
- Normalizzare Paesi e città
- Normalizzare gli URL
- E così via
L’obiettivo è trasformare una proprietà di testo libero in una proprietà con un numero limitato di opzioni oppure semplificare i testi, ad esempio convertendo URL completi di percorsi in semplici domini.
Datablist offre un potente strumento Find and Replace, compatibile sia con il testo semplice sia con le espressioni regolari.
Le espressioni regolari sono complesse, ma anche estremamente potenti.
Ecco alcuni esempi di utilizzo delle RegEx per pulire i dati.
Rimuovere i parametri di query da un URL
Gli URL ottenuti tramite scraping contengono spesso parametri di query superflui, usati per il tracking o per attività di marketing. Rimuovendoli otterrai URL puliti e potrai gestire meglio la deduplicazione usando l’URL per trovare gli elementi duplicati.
Per rimuovere i parametri di query dagli URL, attiva l’opzione "Match using regular expression" e usa la seguente espressione regolare lasciando vuoto il testo sostitutivo:
\?.*$
Applicala quindi alla proprietà contenente gli URL.
Estrarre il dominio dagli indirizzi email
Find and Replace con le espressioni regolari può essere usato anche per estrarre i domini web dagli indirizzi email.
Duplica la proprietà email per conservare i dati originali, quindi usa la seguente espressione regolare lasciando vuoto il testo sostitutivo:
^(\w)*@
👉 Per saperne di più, consulta la documentazione di Find and Replace.
Separare nome e cognome
Quando fai scraping di liste di Lead, spesso ottieni contatti con il campo "Full Name", che deve essere suddiviso in "First Name" e "Last Name". Separare correttamente le diverse parti del nome di una persona è un passaggio fondamentale.
Distinguere nome e cognome è utile per personalizzare le campagne di Cold Emailing, individuare il genere del contatto e ricavare l’eventuale titolo accademico.
La separazione dei nomi può essere complessa. Fortunatamente, Datablist offre uno strumento intuitivo per dividere "Name" in due valori usando lo spazio come delimitatore.
Per iniziare, apri lo strumento "Split Property" dal menu "Edit".
Seleziona la proprietà contenente i nomi da analizzare. Scegli Space come delimitatore e imposta a 2 il numero massimo di parti.
Avvia l’anteprima. Datablist analizzerà i primi 10 elementi per mostrare il risultato. Se è corretto, fai clic su "Split Property" per applicare l’algoritmo a tutti gli elementi presenti.
Al termine, rinomina le due proprietà create come "First Name" e "Last Name".
Questo esempio riguarda i nomi secondo la convenzione occidentale, che in genere prevede un nome e un cognome. La procedura può diventare più complessa con nomi appartenenti ad altre culture, che possono includere più nomi propri o cognomi, oppure quando sono presenti titoli o suffissi.
Deduplicazione dei dati
Datablist dispone di un potente algoritmo per deduplicare i record. Individua gli elementi simili usando una o più proprietà e li unisce automaticamente senza perdere dati.
Per avviare l’algoritmo di deduplicazione, fai clic su "Duplicate Finder" nel menu "Clean".
Seleziona le proprietà da utilizzare per trovare le corrispondenze.
Nella pagina dei risultati, avvia una prima volta l’algoritmo "Auto Merge" mantenendo attiva soltanto l’opzione "Merge non-conflicting duplicates". In questo modo verranno uniti i duplicati facilmente compatibili e saranno elencate le proprietà che presentano conflitti.
L’algoritmo di deduplicazione offre due opzioni per gestire i dati in conflitto. Puoi scegliere "Combine conflicting properties" e usare un delimitatore oppure eliminare i valori in conflitto, conservando soltanto un record principale.
👉 Consulta la guida per unire i duplicati nei file CSV e la guida per trovare e unire i duplicati usando i nomi delle aziende.
Estrarre email, URL e altri dati dai testi
Datablist Data Extractor è uno strumento che analizza testi non strutturati ed estrae le entità presenti.
Usa il riconoscimento dei pattern per individuare:
- Indirizzi email all’interno di un testo
- URL all’interno di un testo
- Domini dagli URL
- Domini dagli indirizzi email
- Menzioni, ad esempio @nome, all’interno di un testo
- Tag, ad esempio #tag, all’interno di un testo
Data Extractor è ideale per l’analisi e la strutturazione dei dati. Con indirizzi email, URL e altri valori ben formattati, puoi collegare i dati ad altri strumenti e creare flussi automatizzati.
Ad esempio, dopo aver estratto gli indirizzi email potrai arricchirli per trovare informazioni sui contatti. Oppure, partendo dai domini ricavati dagli URL, potrai cercare dati sul traffico web con servizi dedicati.
Datablist Data Extractor è disponibile nel menu "Edit Menu -> Extract url, email, tag, etc.".
Seleziona la proprietà contenente il testo non strutturato e scegli un parser.
Avvia il parser per ottenere un’anteprima. Se i risultati sono corretti, fai clic su "Extract" per elaborare gli elementi.
Usare espressioni regolari per filtrare e validare i dati
Datablist permette di usare le espressioni regolari per filtrare i dati.
Filtrare il testo in base al numero di parole
Con questa espressione regolare puoi filtrare i testi che contengono almeno {n} parole:
(?:\w+(?:\s|$)){5,} (sostituisci 5 con il numero desiderato)
Altre varianti di questa RegEx sono:
(?:\w+(?:\s|$)){,5}: testi con non più di 5 parole, inclusi quelli che ne contengono esattamente 5(?:\w+(?:\s|$)){5,10}: testi contenenti da 5 a 10 parole
Filtrare gli URL non validi
La seguente RegEx individua gli URL non validi:
^(?!(?:http(s)?:\/\/)?[\w.-]+(?:\.[\w\.-]+)+[\w\-\._~:/?#[\]@!\$&'\(\)\*\+,;=.]+).*$
Filtrare gli indirizzi email non validi
La seguente RegEx individua gli indirizzi email non validi:
^(?!([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})).*$
Creare trasformazioni personalizzate in JavaScript
Datablist consente di eseguire codice JavaScript personalizzato sui dati. Puoi così affrontare esigenze specifiche, gestire formati particolari, eseguire calcoli complessi e applicare trasformazioni avanzate.
Questa potente funzionalità ti permette di sfruttare tutta la tua esperienza nella manipolazione e nella trasformazione dei dati. Puoi applicare logiche personalizzate, creare cicli e condizioni sui dati e usare un’ampia gamma di funzioni JavaScript per gestire anche le operazioni di pulizia più articolate.
Apri l’editor JavaScript facendo clic su "Run JavaScript" nel menu "Edit".
👉 Consulta la documentazione per scoprire come scrivere codice JavaScript.
Validare gli indirizzi email
I dati ottenuti tramite scraping possono essere obsoleti, contenere errori di battitura o non essere validi. Questo accade soprattutto con gli indirizzi email raccolti tramite scraping.
Quando i dati vengono inseriti dagli utenti, nel database possono finire indirizzi email falsi o appartenenti a provider di posta temporanea.
Datablist include uno strumento di verifica delle email che consente di validare migliaia di indirizzi.
Il servizio di validazione email esegue questi controlli:
- Analisi della sintassi dell’email - Il primo controllo verifica che l’indirizzo rispetti lo standard IETF ed esegue un’analisi sintattica completa. Vengono segnalati gli indirizzi privi della chiocciola (@), con domini non validi e altri errori.
- Controllo dei provider temporanei - Il secondo controllo rileva le email temporanee. Il servizio cerca i domini appartenenti a provider di Disposable Email Address (DEA), come Mailinator, Temp-Mail e YopMail.
- Controllo dei record MX del dominio - Un indirizzo email valido deve avere un dominio associato con record MX configurati. Questi record indicano il mail server che accetta i messaggi destinati al dominio. La loro assenza segnala un indirizzo email non valido. Per ogni dominio email, il servizio controlla i record DNS e cerca quelli MX. Se il dominio non esiste, l’email viene contrassegnata come non valida. Lo stesso accade se il dominio esiste ma non dispone di un record MX valido.
- Segmentazione tra email aziendali e personali - Se raccogli prospect tramite Lead Magnet o vuoi segmentare la tua base utenti, può essere utile distinguere i contatti con email aziendale da quelli con email personale. Il servizio di validazione fornisce questa informazione per arricchire i dati dei contatti.
FAQ
Che cos’è la pulizia dei dati e perché è importante?
La pulizia dei dati, nota anche come data cleansing o data scrubbing, è il processo con cui si individuano e si correggono o eliminano errori, incoerenze e imprecisioni in un dataset. Comprende il rilevamento e la correzione di problemi come valori mancanti, record duplicati, errori di formattazione, valori anomali e rappresentazioni incoerenti dei dati.
È una fase essenziale dell’elaborazione, perché garantisce che i dati siano accurati, affidabili e adatti all’analisi o all’utilizzo in diverse applicazioni.
Quali altri strumenti gratuiti esistono per pulire i dati?
Gli strumenti per la pulizia dei dati spaziano da soluzioni generiche, come i fogli di calcolo, ad applicazioni specializzate. Ecco alcuni strumenti gratuiti alternativi a Datablist che puoi usare per le tue operazioni di data cleaning.
OpenRefine
OpenRefine, in precedenza noto come Google Refine, è uno strumento open source dedicato all’esplorazione, alla pulizia e alla trasformazione di dati disordinati e incoerenti.
È un’applicazione desktop standalone compatibile con file tabellari come CSV e TSV, file Microsoft Excel e altri formati strutturati, tra cui JSON e XML.
OpenRefine è particolarmente utile per gestire file CSV non validi:
- Gestisce molto bene i problemi di codifica dei CSV
- Offre opzioni per correggere gli errori di formato dei CSV
Tra i punti deboli, OpenRefine presenta una curva di apprendimento piuttosto ripida e non offre alcune funzionalità orientate al business. Non dispone di strumenti di deduplicazione né di workflow semplici per unire un dataset a un’altra lista allo scopo di aggiornare o consolidare i dati. Mancano inoltre funzionalità collaborative, enrichment e integrazioni business.
Microsoft Excel e Google Sheets
Microsoft Excel e Google Sheets sono potenti applicazioni per fogli di calcolo che possono essere utilizzate per la pulizia e la preparazione dei dati. Pur presentando alcune differenze, entrambe offrono funzionalità utili per pulire e trasformare i dataset.
Puoi usare le formule per trasformare e manipolare i dati. Con la formattazione condizionale, invece, puoi evidenziare i valori non validi che richiedono un intervento manuale.
Ti serve aiuto con la pulizia dei dati?
Sono sempre alla ricerca di feedback e di nuovi problemi di data cleaning da risolvere. Contattami per raccontarmi il tuo caso d’uso.