Shopifyストアをノーコードで簡単スクレイピングする完全ガイド

コードを書かずにShopifyストアをスクレイピングするには、まず商品一覧ページのURLを用意し、Datablistで**AI Agent - Site Scraper**を設定して、商品1件を1行として取得するフィールドを定義します。ページネーションを追加する前に1ページだけテストし、商品リンク、価格、取得範囲を確認してからリストをエクスポートしてください。

最初にカテゴリページを使うと、スクレイピング対象の範囲が明確になります。ストア全体には、商品、コレクション、記事、おすすめ商品、重複リンクなどが含まれる場合があります。必要なレコードを先に定義しておけば、プロンプトの作成も結果のレビューも容易です。

処理が完了しても、カタログ全体を取得できたとは限りません。 本ガイドでは、実用的な商品リストを作成し、取得元と対象範囲を明確に保つ方法をご説明します。

Shopifyストアをスクレイピングする方法

必要な情報と利用可能なアクセス方法に応じて、手段を選びます。画面に表示される商品カードを取得するなら、設定済みのAIソースが実用的な出発点です。ストアの所有者で、適切な商品エクスポートを利用できる場合は、公開ページから同じデータを再構築せず、そのエクスポートをお使いください。

DatablistのAI Agent

このソースは、設定したページから行データを生成します。取得するレコードと必要なフィールドを指定し、出力を確認したうえで、サンプルに問題がなければ処理範囲を広げます。設定自体は必要です。プロンプトを設定しても、価格、商品の識別、欠損値のチェックが不要になるわけではありません。

クリック＆ポイント型ツール

ページ構造が安定し、取得したいフィールドが明確な場合は、セレクターベースのツールが適しています。ただし、セレクターの設定が必要で、レイアウト変更時には再検証もしなければなりません。すべてのスクレイパーがあらゆるストアに対応できると考えず、この方法についてはセレクターベースのスクレイピングをご覧ください。

スクレイピングAPI

APIを使うワークフローは、開発者や既存の連携環境がある場合に適しています。ただし、入力、アクセス、ページネーション、出力について、それぞれ固有の要件があります。本ガイドでは、AIソースを使って画面に表示される一覧ページを処理します。ストアの非公開データへのアクセスを保証するものではありません。

AIでShopify商品を取得する手順

ソースを設定する前に、1行を1商品とするのか、1バリアントとするのかを決めます。カテゴリの商品カードには開始価格と画像1枚だけが表示される一方、バリアントごとにSKU、サイズ、価格、在庫状況が異なる場合があります。商品カード単位の抽出結果を、完全なバリアント在庫データとして扱わないでください。

1. コレクションを作成する

Datablistを開き、生成される商品行を保存するコレクションを作成します。ストアURLと、取得対象にするカテゴリまたはフィルターを記録してください。

複数のカテゴリやストアをまとめる場合は、各バッチを識別できるようにしておきます。商品名だけでは、ストアをまたいで商品を識別するキーとして不十分です。

2. ソースを選択する

See all sourcesを開き、AI Agent - Site Scraperを選択します。コレクションに保存済みのURLを処理するenrichmentとは異なり、設定したURLから行データを生成する機能です。

商品URLをすでに保有していて、追加情報を取得したい場合は、その既存行に対して別のenrichmentワークフローを使用します。商品一覧カードの収集と、各詳細ページへのアクセスは別々の工程です。

3. 商品一覧URLとプロンプトを設定する

カテゴリまたは商品検索結果のURLを1つ、Url to scrapeに貼り付けます。先にブラウザでページを開き、対象商品、通貨、地域、フィルターが意図どおり表示されていることをご確認ください。

以下のプロンプトを出発点として、実際にページに表示される内容に合わせて取得フィールドを調整してください。

URLはプロンプトとは別に設定するため、ここでは行変数は不要です。後から商品詳細ページのURLをenrichmentする場合も、第2段階まで商品IDを保持してください。

4. ページネーションを個別にテストする

最初のサンプルでは、Enable Paginationを無効にしておきます。そのページの結果を確認してから有効にし、範囲を限定したバッチになるようMax Pagesを設定してください。

このソースは、現在のページにある次の検索結果へのリンクを特定し、後続ページの処理を続けられます。ただし、上限で制限できるのはページ数であり、商品数や検証済みの取得範囲ではありません。「さらに読み込む」形式や無限スクロールでは、ページが表示されていても、利用可能な次ページへのリンクが存在しない場合があります。

ページ数と完全なデータセットの違いについては、Webスクレイピングのページネーションをご覧ください。1ページあたりの商品カード数を仮定して、正確なカタログ件数を算出しないでください。

5. 出力フィールドを定義する

Expected Item Outputsで、取得する各フィールドのOutput Name、Output Description、Output Typeを設定します。

Displayed Priceは、まずtext型に設定してください。これにより「From $29」のような値や価格帯の意味を維持できます。数値型のAmountを別に作る場合は、それがどの価格を表すのかを先に定義します。セール価格、比較価格、通貨を、説明のない1つの数値にまとめないでください。

商品カード単位のレコードでは、Product URLを識別子として保持し、ソースのPage Scraped出力も保存します。後の工程でバリアントが必要になった場合は、すべてのバリアントを同一の商品ページURLで統合せず、適切なバリアントIDまたはSKUを追加してください。

6. 詳細設定を確認する

Advanced Settingsで、タスクに使用するLLM ModelとMax iterationsを確認します。本ガイドでは、あらゆるストアに普遍的に最適なモデルや、すべてのケースで十分といえる固定のステップ数は指定しません。

サンプルを確認し、必要なコンテンツの取得にJavaScriptレンダリングが必要だと分かった場合は、Website Scraper Option: Render HTMLを有効にします。レンダリングは使用量やアクセス可否に影響する可能性があります。すべてのページに必須ではなく、非表示のコンテンツをすべて取得できる保証もありません。

Continueを選択して出力をマッピングし、最初のサンプルではRun Import Nowを選びます。

7. 実行範囲を広げる前に確認する

生成された行をいくつかページと照合します。商品名、価格、画像、在庫テキストが、同じ商品に紐づいているか確認してください。欠損値は空欄のままにし、取得や抽出の失敗については原因を調査します。

出力例として、「From $29」と表示されたAcme Tee、セール表示のあるAcme Jacket、在庫状況が表示されていないAcme Mugという3つの商品カードを想定します。価格を勝手に1つに決めたり、すべての商品を在庫ありと判断したりせず、それぞれの違いを維持してください。

これらは、想定するレコード形式を示す例であり、実際に測定したスクレイピング結果ではありません。後続ページでは、Product URLの重複と、最後に処理されたページを確認します。取得日時、フィルター、実行範囲、未解決のエラーも記録してください。

Shopifyストアか確認する方法

利用プラットフォームを確認するとワークフローを選びやすくなりますが、実際にテストすべき入力は、あくまで表示中のページです。使用技術がShopifyと判定されても、商品にアクセスできることや、カテゴリが特定のレイアウトであることは保証されません。

ドメインのリストがある場合は、technology enrichmentワークフローを使い、Webサイトと併せて確認するための判断材料を取得できます。最新のenrichment定義を使用し、返されたtechnologyをご確認ください。

1つのサイトを調べる際は、ブラウザのtechnologyレポートも判断材料になります。検出されたプラットフォームが対象ドメインのものか確認してください。レポートは商品データのエクスポートではありません。

ページソース内のShopifyへの言及も、プラットフォーム判定の根拠になります。ただし、単独の文字列が埋め込みアセットや無関係なテキストに含まれている場合もあるため、ストアを分類する前に他の証拠と照合してください。

Shopifyストアを見つける方法

商品ではなくストアのドメインが必要な場合は、企業検索のワークフローから始めます。別タスクとして、Shopifyを利用する企業の見つけ方をご参照ください。商品カテゴリのスクレイピングだけで、プラットフォーム上のすべてのストアを発見できるとは考えないでください。

site:myshopify.comのような検索で確認候補のURLを集められますが、独自ドメインを使うストアは対象外となり、プロジェクトに適さないページが含まれる場合もあります。検索結果は候補リストであり、すべてのマーチャントを網羅した一覧ではありません。

IPベースの検索結果も候補にすぎず、ドメインとプラットフォームの検証が必要です。ホスティング環境は変更される可能性があるため、古いIPリストをShopify事業者の完全かつ最新の一覧として扱わないでください。

承認済みのドメインが揃ったら、対象バッチごとに代表的な商品一覧URLを1つ選びます。各レコードの取得元を説明できるよう、ドメイン検索、商品抽出、商品詳細ページのenrichmentを、それぞれ識別可能な工程として管理してください。

確認済みの商品リストをエクスポートする

Product URL、Page Scraped、確認済みフィールド、取得条件をまとめてエクスポートします。行の総数を商品数とみなさず、一意の商品IDを確認してください。バリアントについては、最初に定義した識別単位を使用します。

商品調査や後工程での比較にリストを使用するのは、その用途に必要なフィールドを検証してからにしてください。価格、在庫状況、カタログの掲載範囲は取得後に変わる可能性があります。別のチームがスナップショットの時点を把握できるよう、タイムスタンプを保持します。

エクスポート手順については、CSVとExcelへのエクスポートをご覧ください。商品一覧ページの別の例は、ディレクトリのスクレイピングでご確認いただけます。

よくある質問

1回の実行ですべての商品とバリアントを取得できますか？

取得できるとは限りません。開始カテゴリ、ページネーションリンク、アクセス条件、ページ数の上限、各ページに表示されるフィールドによって結果が決まります。商品カード単位の商品データとバリアント在庫は別の出力です。エクスポートを完全と判断する前に、取得範囲をご確認ください。

商品詳細ページから説明文を取得できますか？

商品一覧カードに説明文が含まれていない場合は、まずProduct URLを収集します。その後、別のenrichmentを設定して各ページを確認し、商品IDを保持してください。商品一覧のソースを実行しても、リンク先の詳細ページがすべて訪問されたとは限りません。

定期モニタリングのために再実行できますか？

別の時点のスナップショットを取得し、確認済みのIDとフィールドを比較できます。取得日時とソースの対象範囲を保持し、既存の値をどのように扱うか決めてください。商品名が同じというだけでは、ストアやバリアントをまたいで使える信頼性の高いキーにはなりません。

他のECストアでも同じワークフローを使えますか？

このソースは他の商品一覧ページにも利用できますが、アクセス条件、レイアウト、ページネーション、フィールド定義はサイトごとに異なります。Shopify向けの設定をそのまま適用できると考えず、対象サイトのサンプルでテストしてください。

どのような上限と料金を確認すべきですか？

現在のコレクション上限、ソース設定、利用可能なcredits、サンプルの使用量をご確認ください。クラウド同期の上限は、商品スクレイピングの上限とは異なります。また、ページ数の上限を設定しても、処理の完了や商品1件あたりの固定料金が保証されるわけではありません。