大容量CSVファイルをオンラインで編集するには、Datablistのコレクションにインポートし、列のデータ型を確認して必要な変更を加え、新しいCSVとしてエクスポートします。同じワークスペース内で、検索、フィルタリング、セル編集、重複データの統合まで行えます。
元のファイルは残し、エクスポートしたコピーを必ず検証してください。 大容量ファイルでは、編集作業と同じくらい正常なインポートが重要です。インポートされたレコード数を確認し、郵便番号やアカウントIDなどの識別子はテキスト形式で保持しましょう。
表計算ツールには行数、セル数、メモリの上限があり、大容量CSVを開けない場合があります。必要なメモリ容量は、列数や各値の長さによっても変わります。
このガイドでは、以下の方法をご紹介します。
CSVファイルの閲覧と編集の違い
このガイドでは、行を編集し、変更後のファイルをエクスポートする方法を中心に解説します。Datablistでは、インポートしたデータの検索やフィルタリングも可能です。値を見つけるだけであれば、一連の編集作業は必要ないかもしれません。
大規模データ向けツールを使わずに無料で作業する方法として、LinuxまたはmacOSのターミナルも利用できます。詳しくは、LinuxまたはmacOSのターミナルで大容量CSVファイルを検索する方法をご覧ください。
Datablistで大容量CSVをオンライン編集
Datablistはオンラインデータエディターです。外部ソフトをインストールせず、ブラウザから直接CSVファイルを開けます。Datablistは、最新のWebブラウザが備えるデータベース機能を利用しています（詳しくはドキュメントをご覧ください）。
Freeプランでは、1コレクションあたり最大100万件のアイテムに対応しています。有料プランでは、さらに大規模なデータをインポートできます。ファイルを読み込む前に、インポートアシスタントに表示される上限を確認し、最新プランを比較してください。大容量データを快適に扱えるかどうかは、ブラウザのメモリ、利用可能なストレージ、個々の値のサイズにも左右されます。
ステップ1：コレクションを作成してCSVをインポート
注
DatablistのCSV editorで大容量CSVファイルを開くには、アカウント登録が必要です。先にアカウントを作成してからお進みください。
CSVファイルをDatablistにインポートするには、空のコレクションを作成し、Import CSV/Excelアシスタントでファイルを読み込みます。
インポートするCSV列を選び、検出されたデータ型を確認します。Datablistはファイルの先頭行を読み取り、各列のデータ型を自動検出します。データ型は、後からコレクションを並べ替えたりフィルタリングしたりする際に重要です。
プレビューデータを確認し、Importをクリックしてインポートを開始します。
注意事項
インポート時間は、ファイル、ブラウザ、端末によって異なります。タブを開いたまま進捗をご確認ください。完了前にインポートを中断した場合は、作業を続ける前に何行まで取り込まれたか確認しましょう。
ステップ2：大容量CSVをオンラインで編集
インポート時、DatablistはCSVを解析してコレクションのアイテムに変換します。大規模なローカルコレクションにはブラウザストレージが使用されるため、ページを再読み込みしてもデータは保持されます。ただし、サイトデータを消去すると失われる可能性があります。元のCSVは残し、編集後はコピーをエクスポートしてください。ローカルストレージとクラウド同期の違いもご確認いただけます。
Datablistでは、1つまたは複数の条件を指定してCSVファイルをフィルタリングでき、「full-text」検索も利用できます。
💡 検索とフィルタリングのパフォーマンスは、コレクションとご利用の端末によって異なります。編集前に表示対象を絞り込み、エクスポートするのがフィルタリングされた行だけなのか、コレクション全体なのかをご確認ください。
アイテムを編集する
表計算ソフトのようなインターフェースでアイテムを編集できます。セル上でEnterを押すと、内容を編集できます。日時データにはカレンダーが用意されており、長文テキストは大きなテキストエリアで編集可能です。
各アイテム行の左側にある展開ボタンをクリックすると、アイテム詳細ドロワーが開きます。
重複アイテムを統合する
Datablistには、データ管理に役立つ高度な編集機能があります。その一つがDuplicates Finderです。
重複排除アルゴリズムが1つまたは複数のプロパティの値を比較し、すべての重複アイテムを一覧表示します。重複一覧では、値が競合しないアイテムを自動で一括統合できます。競合が残るアイテムは、統合アシスタントで処理できます。詳しくは、CSVファイルの重複を削除する方法またはExcelファイルの重複行を統合する方法をご覧ください。
列にメールアドレス、タグ、IDなどのリストが含まれている場合は、重複排除やエクスポートの前に値を別々の行へ展開してください。
アイテムを統合する
アイテムの統合は、データ一覧画面から直接行えます。統合するアイテムを選択し、Merge itemsをクリックします。
選択したすべてのアイテムが比較され、最も多くのデータを持つアイテムが「Primary Item」として選ばれます。その後、他のアイテムにある競合しない値が、Primary Itemの空のプロパティへ追加されます。統合を確定すると、Primary Item以外のアイテムはすべて削除されます。Primary Itemには、統合後の値が保持されます。
ステップ3：編集済みCSVデータをエクスポート
変更が完了したら、データをDatablist上に保持するか、CSVまたはExcelファイルとしてエクスポートできます。
エクスポートでは、以下のオプションを設定できます。
- エクスポートするプロパティ - Collection Propertiesはデータ一覧で非表示にできます。1つ以上のプロパティが非表示になっている場合、すべてのプロパティを含めるか、表示中のプロパティだけを含めるか選択できます。
- エクスポート形式 - CSVまたはExcelを選択できます。
- 列の区切り文字 - CSV形式では、列の区切り文字として「Comma」または「Semicolon」を選べます。
重要
Excelでは、1セルあたり32,767文字までという制限があり、各ワークシートにも行数上限があります（Excelの上限をご確認ください）。Excelワークシートの行数上限を超えるコレクションには、CSVの使用をおすすめします。
エクスポートしたCSVを確認する
元のファイルを置き換える前に、エクスポートしたファイルのコピーをもう一度開き、以下をご確認ください。
- レコード数が、選択した範囲（全アイテム、選択したアイテム、フィルタリングしたアイテム）と一致している。
- 識別子の先頭のゼロが保持され、長い値も欠けていない。
- 編集した行に意図した変更が反映され、それ以外の行は変更されていない。
- 区切り文字と列の順序が、ファイルを受け取るシステムの仕様に合っている。
例えば、20万行のリストから2,000件の連絡先を絞り込み、会社名を修正したとします。この場合、その2,000件だけが必要なのか、更新済みのリスト全体が必要なのかを判断してください。この2つは異なるエクスポートです。
さらに大きなCSVファイルを編集する方法
CSVを分割して結果を結合する
CSVがご利用プランのインポート上限を超える場合は、上限未満のファイルに分割し、別々のコレクションを使用します。不完全なインポートをデータセット全体と取り違えないよう、各ファイルでインポート済みのレコード数をご確認ください。それぞれを編集してエクスポートし、必要に応じて結果を結合します。
ファイルを分割すると、確認作業の対象範囲も変わります。 同じ重複データが、異なる分割ファイルに含まれる場合があります。重複排除が目的であれば、各ファイルを個別にクリーンアップするだけで結合後のデータが一意になるとは限りません。ファイルをまたぐ重複も考慮してください。
大容量CSVを分割するには、Datablistの無料CSV Splitterをご利用ください。行数、ファイルサイズ、列の値、ルール、日付範囲を基準に分割できます。
重要
分割後のCSVファイルをDatablistへインポートするには、各ファイルにヘッダー行が必要です。CSV Splitterを設定する際は、すべての分割ファイルにヘッダー行がコピーされるようご注意ください。
分割した小さなCSVファイルは、上記の手順に沿って編集してください。
続いて、別のオンラインツールですべてのCSVファイルを1つに結合します。ExtendsClassには、CSVをオンラインで結合できる便利なツールがあります。
Mac・Linuxユーザー向けの方法
Mac・Linuxユーザー向けの最後の選択肢は、Visidataです。
Visidataは無料のツールで、ターミナル上にCSVファイルを表示し、操作できます。技術に詳しくない方には少し難しく感じられるかもしれません。それでも挑戦してみたい方は、ぜひ試してみてください。
FAQ
Google Sheetsの行数上限は？
Googleが公開している最新のファイル上限によると、Google Sheetsで作成したスプレッドシート、またはGoogle Sheets形式に変換したスプレッドシートは、最大2,000万セルまたは100MBまで対応しています。セル数の上限は、固定された行数上限ではありません。利用できる行数は、列数や同じブック内にある他のシートによって変わります。
例えば、20列で50万行のデータがあれば、ヘッダーや他のシートを含める前の段階で、すでに約1,000万セルを使用します。また、セル数の上限以内であっても、ご利用の端末ですべての計算や編集を高速に行えるとは限りません。
Airtableの行数上限は？
Airtableでは、1つのbaseに含まれるすべてのtableを合計したレコード数に上限があります。現在のworkspace上限は、Freeが1,000件、Teamが50,000件、Businessが125,000件です。Enterprise Scaleの上限は異なります。大容量CSVに利用する場合は、事前にご契約プランをご確認ください。
Microsoft Excelの行数上限は？
Microsoft Supportによると、Excelの1ワークシートで扱える行数は、ヘッダー行を含めて1,048,576行です。
また、1つのセルに入力できる文字数は最大32,767文字です。
大容量CSVにApple Numbersは使える？
大規模な編集に使用する前に、Numbersのバージョンを確認し、ファイルのコピーでテストしてください。ファイルを開けたとしても、インポート時にアプリの上限を超えたり、編集が現実的でなかったりする場合があります。変更を保存する前に、インポート件数と元ファイルの件数を比較してください。
Datablistを試せるサンプルCSVはある？
はい、ございます。サンプルCSVファイルのページから、最大200万件のデータを含むCSVファイルをダウンロードしていただけます。