CSV file è ormai un formato standard per archiviare dati strutturati. Il CSV si basa su file di testo e la maggior parte delle applicazioni esporta i dati in CSV.
Gli strumenti di fogli di calcolo aprono i CSV ma vanno in crash con file grandi. Google Sheets mostra un errore quando carichi un CSV molto grande e l’esperienza d’uso peggiora drasticamente già dopo qualche centinaio di migliaia di righe.
Allora, come modificare file CSV molto grandi se non sei tecnico? Data scientist e developer usano database o linguaggi di programmazione per lavorare con big data, ma per le operazioni quotidiane sui CSV sono strumenti troppo complessi.
In questa guida vedrai:
- Come modificare online CSV fino a 1,5 milioni di righe con un NoCode tool
- Come modificare file ancora più grandi
Visualizzare vs Modificare file CSV
Questa guida è focalizzata sulla modifica dei file CSV. Se vuoi solo aprire e visualizzare (o filtrare) un CSV, usa soluzioni big data come Microsoft PowerBi.
Un’alternativa gratuita agli strumenti big data è usare il Terminale su Linux e macOS. Guarda la nostra guida: How to search in a big CSV file using Linux or macOS Terminal.
Fino a 1,5 milioni di righe: modifica i CSV online con Datablist
Datablist è un online data editor. Apre i file CSV direttamente nel tuo browser, senza software di terze parti. Datablist sfrutta le funzionalità di database offerte dai browser moderni (scopri di più nella documentazione).
Nel piano gratuito, Datablist ti consente di caricare CSV fino a 1 milione di righe. Con lo Standard Plan il limite arriva a 1,5 milioni di righe. Consulta la pagina prezzi per il confronto dettagliato.
Passaggio 1: crea una collection e importa il tuo file CSV
Nota
Il CSV editor di Datablist richiede la registrazione per aprire CSV molto grandi. Crea un account prima di continuare.
Per importare il tuo CSV in Datablist, crea una collection vuota e usa l’assistente "Import CSV/Excel" per caricare il file.
Seleziona le colonne CSV da importare e conferma i tipi di dato rilevati. Datablist legge le prime righe del file e determina il tipo per ogni colonna. I tipi di dato sono fondamentali per ordinare e filtrare correttamente la tua collection.
Controlla l’anteprima dei dati e clicca su "Import" per avviare il processo.
Note
Caricare un CSV molto grande richiede tempo. Considera circa 5 minuti per 1 milione di righe. Per interrompere prima della fine, clicca sul pulsante "Stop Import": l’operazione verrà annullata.
Passaggio 2: modifica online il tuo file CSV grande
Durante l’import, il tuo CSV viene analizzato e i dati vengono salvati in un database locale nel browser. I dati persistono anche ricaricando la pagina e non verranno cancellati finché non lo decidi tu (o se raggiungi il limite del disco).
Con Datablist puoi filtrare il tuo CSV con una o più condizioni e usare la ricerca full-text.
Note
I tempi di risposta di filtro e ricerca dipendono dal numero di item e dal numero di risultati trovati. Più risultati corrispondenti ci sono, più rapida sarà la risposta. Se Datablist deve scorrere tutti gli item per trovarne uno o nessuno, il tempo aumenta.
Modifica gli item
Modifica gli item con un’interfaccia tipo spreadsheet. Premi "Invio" su una cella per editarne il contenuto. Per i valori datetime è disponibile un calendario, e i testi lunghi si modificano in una textarea ampia.
Cliccando sul pulsante di espansione a sinistra della riga si apre il drawer con i dettagli dell’item.
Unisci gli item duplicati
Datablist include funzionalità avanzate per la pulizia e l’editing dei dati. Tra queste c’è il Duplicates Finder.
L’algoritmo di deduplicazione confronta i valori di una o più proprietà e elenca tutti gli item duplicati. Nella lista dei duplicati puoi unire automaticamente quelli non in conflitto. Per i rimanenti, è disponibile un assistente di merging. Leggi le nostre guide su come deduplicare un file CSV o come unire righe duplicate in un file Excel.
Unisci gli item
Il merging degli item è disponibile direttamente dalla vista di listing. Seleziona gli item da unire e clicca su "Merge Items".
Tutti gli item selezionati vengono confrontati e quello con più dati viene eletto "Primary Item". I valori non in conflitto degli altri item riempiono le proprietà vuote del Primary Item. Confermando il merging, tutti gli item eccetto il Primary Item vengono eliminati. Il Primary Item rimane con i valori combinati.
Passaggio 3: esporta i tuoi CSV modificati
Al termine delle modifiche, puoi mantenere i dati su Datablist oppure esportarli in un file CSV o Excel.
Sono disponibili opzioni per configurare l’export:
- Properties to export - Le Collection Properties possono essere nascoste dal listing. Se almeno una proprietà è nascosta, l’exporter ti chiede se esportare tutte le proprietà o solo quelle visibili.
- Formato di export - CSV o Excel.
- Delimitatore di colonna - Per il formato CSV, puoi scegliere tra "Comma" o "Semicolon" come separatore.
Importante
Excel non consente testi di cella oltre 32.000 caratteri. Inoltre, Excel fatica a importare file Excel molto grandi (vedi limiti di Excel). Per collezioni grandi, consigliamo il formato CSV.
Per file CSV più grandi
Dividi i file CSV e unisci i risultati
Datablist ha un limite di import pari a 1,5 milioni di righe per CSV (1 milione nel piano gratuito). Oltre questo limite, il file viene troncato. Per CSV ancora più grandi, con diversi milioni di righe, dividi il file in CSV più piccoli. Modificali con Datablist, esportali in CSV e poi uniscili di nuovo in un unico file.
Per dividere un CSV grande, cerca su Google "Online CSV splitter". Un tool gratuito che uso è il CSV splitter di ExtendsClass.
Importante
Per importare i CSV più piccoli in Datablist è necessaria la riga di header. Assicurati di configurare il tuo splitter per copiare l’header in ogni file generato.
Segui il tutorial qui sopra per modificare i CSV più piccoli.
Poi usa un altro tool online per riunire tutti i CSV in uno solo. ExtendsClass offre un ottimo tool per unire CSV online.
Per chi usa Mac e Linux
L’ultima opzione per utenti Mac e Linux è Visidata.
Visidata è gratuito e usa il terminale per mostrare e interagire con il tuo CSV. Può spaventare chi non è tecnico… ma se vuoi metterti alla prova, provalo!
FAQ
Qual è il limite di righe di Google Sheets?
A marzo 2022, Google Sheets ha aumentato il limite a 10 milioni di celle (in precedenza 5 milioni). Il numero di righe massime dipende quindi dal numero di colonne del tuo CSV.
In teoria, Google Sheets potrebbe aprire e modificare CSV molto grandi (vicini al milione di righe).
Ma Google Sheets scarica l’intero foglio di calcolo dalla sua piattaforma alla memoria del tuo browser ogni volta che apri la pagina. Ottimo per formule che pescano dati da qualsiasi cella, ma per liste dati e manipolazioni è inefficiente! Non consiglio Google Sheets per la manipolazione dati oltre qualche centinaio di migliaia di righe.
Qual è il limite di righe di Airtable?
Secondo la pagina di supporto Airtable, i limiti sono:
- Free Plan - 1.200 record per base
- Plus Plan - 5.000 record per base
- Pro Plan - 50.000 record per base
- Enterprise Plan - 100k record per tabella (250.000 record per base)
In Airtable, una riga è un record. Una base è composta da più tabelle collegate (simile a un workbook con più sheet in uno spreadsheet).
Con questi limiti, Airtable non è adatto ad aprire CSV molto grandi.
Qual è il limite di righe di Microsoft Excel?
Secondo il supporto Microsoft, il limite di righe in Excel è 1.048.576 (dato 2022).
Inoltre, ogni cella non può contenere più di 32.767 caratteri.
Qual è il limite di righe di Apple Numbers?
Come altri spreadsheet, Apple Numbers non è pensato per gestire CSV molto grandi. Apple Numbers ha un limite di 1.000.000 di righe per sheet. Questo vale anche per i CSV importati.
Ma l’interfaccia diventa ingestibile con così tante righe e anche l’editing di una cella può bloccare l’app per diversi secondi.
Avete file CSV di esempio per testare Datablist?
Certo! Visita la nostra pagina con i CSV di esempio per scaricare file fino a 2 milioni di record.