Le fichier CSV est devenu un format générique pour stocker des données structurées. Le format CSV repose sur des fichiers texte et la plupart des applications exportent les données dans ce format.
Les outils tableur ouvrent les fichiers CSV mais plantent sur les gros fichiers. Google Sheets affiche une erreur lors du téléchargement d'un fichier CSV volumineux et l'expérience utilisateur devient terrible dès que l'on atteint quelques centaines de milliers de lignes.
Alors, comment modifier de gros fichiers CSV quand on n'est pas une personne technique ? Les data scientists et développeurs utilisent des bases de données ou des langages de programmation pour manipuler de gros volumes, mais c'est complexe pour des tâches quotidiennes sur des fichiers CSV.
Dans ce guide, vous allez découvrir :
- Comment éditer un CSV jusqu'à 1,5 million de lignes en ligne avec un outil NoCode
- Comment gérer des fichiers encore plus volumineux
Affichage vs édition de fichiers CSV
Ce guide s'attarde sur l'édition des fichiers CSV. Si vous souhaitez seulement visualiser ou filtrer votre fichier CSV, privilégiez des solutions « big data » (comme Microsoft PowerBi).
Une alternative gratuite consiste à utiliser le Terminal sur Linux ou macOS. Consultez notre guide : Comment rechercher dans un gros fichier CSV avec le Terminal Linux ou macOS.
Jusqu'à 1,5 millions de lignes, éditez des fichiers CSV en ligne avec Datablist
Datablist est un éditeur de données en ligne. Il ouvre les fichiers CSV directement dans votre navigateur, sans logiciel à installer. Ce fonctionnement s’appuie sur la base de données intégrée des navigateurs modernes (voir la documentation pour en savoir plus).
Avec l'offre gratuite, Datablist vous permet de charger des fichiers CSV jusqu'à 1 million de lignes. La limite monte à 1,5 million de lignes dans le Standard Plan. Consultez la page de tarification pour le détail des offres.
Étape 1 : Créez une collection et importez votre fichier CSV
Note
L’éditeur CSV de Datablist nécessite une inscription pour ouvrir les gros fichiers CSV. Merci de créer un compte avant de continuer.
Pour importer votre fichier CSV dans Datablist, créez une collection vide puis utilisez l’assistant "Import CSV/Excel" pour téléverser votre fichier.
Sélectionnez les colonnes CSV à importer puis confirmez les types de données détectés. Datablist lit les premières lignes de votre fichier pour déduire le type de donnée pour chaque colonne. Les types sont importants pour trier et filtrer votre collection ensuite.
Vérifiez l’aperçu, puis cliquez sur "Importer" pour débuter l’importation.
Notes
Charger un gros fichier CSV prend du temps. Comptez environ 5 minutes pour un fichier d’un million de lignes. Pour annuler le processus avant la fin, cliquez sur "Arrêter l’import". Cela stoppera l’importation en cours.
Étape 2 : Éditez votre gros fichier CSV en ligne
Pendant l’import, votre fichier CSV est analysé. Et les données sont stockées dans une base locale du navigateur. Elles restent accessibles même après rechargement de la page, et ne seront pas effacées sans action de votre part (ou si vous atteignez la limite de votre disque).
Avec Datablist, vous pouvez filtrer votre fichier CSV avec une ou plusieurs conditions, et utiliser la recherche plein-texte.
Notes
Les temps de réponse de recherche et de filtrage dépendent du volume d’éléments et des résultats trouvés. Plus il y a de correspondances, plus la réponse est rapide. Si Datablist doit scanner toutes les données pour ne renvoyer qu’une ou zéro correspondance, la recherche sera plus longue.
Modifier les éléments
Modifiez vos données dans une interface façon tableur. Pressez "Entrée" dans une cellule pour modifier son contenu. Pour les valeurs de type date, un calendrier s’affiche. Les textes longs sont éditables dans une grande zone de texte.
Un panneau latéral détaillé apparaît en cliquant sur le bouton d’expansion à gauche de l’item.
Fusionner les doublons
Datablist propose des fonctionnalités avancées pour gérer vos données. Parmi elles, l’outil duplicates finder.
L’algorithme compare les valeurs d’une ou plusieurs propriétés puis liste tous les doublons. Dans cette liste, vous pouvez fusionner automatiquement tous les doublons sans conflit. Pour les doublons conflictuels, un assistant vous accompagne. Consultez nos guides pour découvrir comment dédoublonner un fichier CSV ou fusionner les doublons dans un fichier Excel.
Fusionner des éléments
La fusion d’éléments est proposée directement dans la liste des données. Sélectionnez les éléments à fusionner et cliquez sur "Merge Items".
Tous les éléments sélectionnés sont comparés et celui avec le plus de données devient "Primary Item". Les valeurs non conflictuelles sont ajoutées aux propriétés vides de l’élément principal. Une fois la fusion confirmée, tous les éléments secondaires sont supprimés au profit du principal, enrichi avec les données groupées.
Étape 3: Exportez vos données CSV modifiées
Vos modifications sont terminées ? Vous pouvez soit garder vos données sur Datablist, soit les exporter au format CSV ou Excel.
Plusieurs options sont là pour configurer l’export :
- Propriétés à exporter : les propriétés d’une collection peuvent être masquées dans la liste de données. Si au moins une propriété est masquée, l’exporteur vous permet de choisir si l’export doit inclure toutes les propriétés ou seulement celles visibles.
- Format d’export : CSV ou Excel.
- Délimiteur de colonne : pour le format CSV, vous pouvez choisir entre « virgule » ou « point-virgule ».
Important
Excel interdit les textes de cellule de plus de 32 k caractères. De plus, Excel ne saura pas ouvrir un gros fichier Excel (voir la limite d’Excel). Nous vous conseillons le format CSV pour les grandes collections.
Pour les fichiers CSV plus gros
Scindez votre fichier CSV puis regroupez les résultats
Datablist limite l’import des CSV à 1,5 million de lignes (1 million pour le plan gratuit). Au-delà, votre fichier CSV sera tronqué. Pour les fichiers volumineux, divisez votre fichier CSV géant en plusieurs petits CSV. Modifiez-les avec Datablist, exportez-les puis regroupez-les en un seul CSV à la fin.
Pour scinder un gros CSV, tapez simplement « Online CSV splitter » sur Google. J’utilise le CSV splitter gratuit d’ExtendsClass.
Important
Pour importer vos petits CSV dans Datablist, chaque morceau doit contenir une ligne d’entête. Assurez-vous de configurer le splitter pour dupliquer la ligne d’en-tête dans tous les morceaux.
Suivez les étapes vues plus haut pour éditer chaque petit CSV.
Ensuite, utilisez un autre outil en ligne pour fusionner tous vos CSV en un seul. ExtendsClass propose un bon outil de fusion CSV en ligne.
Pour les utilisateurs Mac et Linux
La dernière option pour Mac et Linux est Visidata.
Visidata est gratuit et s’utilise en terminal pour visualiser et manipuler les fichiers CSV. Cela peut rebuter les non-techniques... Mais si vous voulez vous challenger, tentez l’expérience !
FAQ
Quelle est la limite de lignes dans Google Sheets ?
En mars 2022, Google Sheets a porté sa limite à 10 millions de cellules (contre 5 millions avant). Divisez cette limite par le nombre de colonnes pour avoir la limite théorique de lignes.
En théorie, Google Sheets pourrait ouvrir et modifier de gros CSV (proche du million de lignes).
Mais Google Sheets charge l’intégralité du tableau depuis ses serveurs dans la mémoire de votre navigateur à chaque ouverture de page. Pour de la compta, c’est utile pour des formules globales. Pour de la manipulation de listes, c’est inefficace ! Je déconseille Google Sheets pour manipuler des listes dès que vous dépassez quelques centaines de milliers de lignes.
Quelle est la limite pour Airtable ?
D’après la page support Airtable, les plafonds sont :
- Free Plan – 1 200 enregistrements/base
- Plus Plan – 5 000 enregistrements/base
- Pro Plan – 50 000 enregistrements/base
- Enterprise Plan – 100k enregistrements/table (250 000 enregistrements/base)
Un enregistrement = une ligne. Une base peut contenir plusieurs tables (comparables à des onglets dans un tableur).
Avec de telles limites, Airtable n’est pas adapté à l’ouverture de gros CSV.
Quelle est la limite de lignes dans Microsoft Excel ?
D’après Microsoft Support, la limite de lignes Excel est de 1 048 576 (en 2022).
De plus, une cellule ne peut contenir plus de 32 767 caractères.
Quelle est la limite de lignes dans Apple Numbers ?
Comme les autres tableurs, Apple Numbers n’est pas conçu pour de gros fichiers CSV. Apple Numbers limite à 1 million de lignes par feuille. Cette limite s’applique pour les CSV importés.
Mais l’interface devient inutilisable au-delà et la saisie gèle souvent l’application.
Proposez-vous des fichiers CSV d’exemple pour tester Datablist ?
Bien sûr ! Téléchargez des fichiers CSV d’exemple (jusqu’à 2 millions de lignes) sur notre page dédiée.