코드·API 없이 Shopify 스토어 상품 데이터 스크래핑하는 방법

코드를 작성하지 않고 Shopify 스토어를 스크래핑하려면 상품 목록 URL에서 시작해 Datablist의 **AI Agent - Site Scraper**를 설정하고, 상품 하나에 해당하는 필드를 정의하세요. 먼저 한 페이지만 테스트한 다음 페이지네이션을 추가하고, 상품 링크와 가격, 수집 범위를 검토한 뒤 목록을 내보냅니다.

카테고리 페이지에서 시작하면 스크래핑 범위를 명확히 정할 수 있습니다. 스토어 전체에는 상품, 컬렉션, 아티클, 추천 항목, 중복 링크가 섞여 있을 수 있습니다. 필요한 레코드를 먼저 정의하면 프롬프트 작성과 결과 검토가 모두 쉬워집니다.

스크래핑이 완료됐다고 해서 전체 카탈로그를 수집했다는 뜻은 아닙니다. 이 가이드에서는 실무에 활용할 수 있는 상품 목록을 만들고, 출처와 수집 범위를 명확하게 관리하는 방법을 설명합니다.

Shopify 스토어 스크래핑 방법

필요한 정보와 보유한 접근 권한에 따라 방식을 선택하세요. 화면에 표시되는 상품 카드를 수집하려면 설정형 AI source가 실용적인 출발점입니다. 스토어를 직접 운영하고 있고 적절한 상품 export 파일이 있다면, 공개 페이지에서 같은 데이터를 다시 수집하지 말고 해당 파일을 사용하세요.

Datablist AI Agent

이 source는 설정한 페이지에서 데이터를 추출해 행을 생성합니다. 원하는 레코드와 필드를 설명하고 결과를 확인한 뒤, 샘플이 적절할 때 실행 범위를 확장하면 됩니다. 다만 별도의 설정은 여전히 필요합니다. 프롬프트를 사용한다고 해서 가격, 상품 식별 정보, 누락값을 검토할 필요가 없어지는 것은 아닙니다.

클릭 앤 포인트 도구

페이지 구조가 안정적이고 원하는 필드가 명확하다면 selector 기반 도구가 적합할 수 있습니다. Selector를 지정해야 하며, 레이아웃이 변경되면 결과를 다시 검증해야 합니다. 모든 scraper가 모든 스토어에 맞는다고 가정하지 말고, 이 방식이 필요하다면 selector 기반 스크래핑을 참고하세요.

Scraping API

API workflow는 개발자나 기존 integration이 있는 경우에 적합할 수 있습니다. 입력값, 접근 방식, 페이지네이션, 출력 형식에 관한 별도 요건이 있습니다. 이 가이드에서는 AI source로 화면에 표시되는 목록 페이지를 처리하며, 비공개 스토어 데이터에 접근할 수 있다고 보장하지는 않습니다.

AI로 Shopify 스토어 스크래핑하기: 단계별 가이드

Source를 설정하기 전에 한 행을 상품 하나로 볼지, variant 하나로 볼지 결정하세요. 카테고리 카드에는 시작 가격과 이미지 하나만 표시될 수 있지만, variant마다 SKU, 사이즈, 가격 또는 재고 상태가 다를 수 있습니다. 카드 단위로 추출한 데이터를 전체 variant 재고 목록이라고 표현해서는 안 됩니다.

1. Collection 생성하기

Datablist를 열고 생성된 상품 행을 저장할 collection을 만드세요. 수집하려는 스토어 URL과 카테고리 또는 필터를 기록합니다.

여러 카테고리나 스토어의 데이터를 합칠 때는 각 batch를 구분할 수 있게 관리하세요. 상품명만으로는 여러 스토어의 상품을 정확히 식별하기 어렵습니다.

2. Source 선택하기

See all sources를 열고 AI Agent - Site Scraper를 선택하세요. Collection에 이미 저장된 URL을 처리하는 enrichment와 달리, 설정한 URL에서 직접 행을 생성합니다.

이미 상품 URL을 보유하고 있고 세부 정보가 더 필요하다면, 기존 행에 별도의 enrichment workflow를 적용하세요. 목록의 상품 카드를 수집하는 작업과 각 상세 페이지를 방문하는 작업은 서로 다른 단계입니다.

3. 목록 URL과 프롬프트 설정하기

카테고리 또는 상품 검색 결과 URL 하나를 Url to scrape에 붙여 넣으세요. 먼저 브라우저에서 페이지를 열어 원하는 상품, 통화, 지역, 필터가 제대로 표시되는지 확인합니다.

아래 프롬프트를 출발점으로 사용하되, 페이지에 실제로 표시되는 정보에 맞게 요청 필드를 조정하세요.

URL은 프롬프트와 별도로 설정하므로 여기에서는 행 변수가 필요하지 않습니다. 이후 상세 페이지 URL을 enrichment할 때는 두 번째 단계에서도 상품 식별자를 유지하세요.

4. 페이지네이션 별도로 테스트하기

첫 번째 샘플에서는 Enable Pagination을 비활성화하세요. 해당 페이지의 결과를 검토한 후 기능을 활성화하고, 범위가 제한된 batch를 위해 Max Pages를 지정합니다.

Source는 현재 페이지에서 다음 검색 결과 링크를 찾아 이후 페이지를 계속 처리할 수 있습니다. 상한값은 페이지 수만 제한할 뿐, 상품 수나 검증된 수집 범위를 의미하지 않습니다. Load more 방식이나 infinite scroll은 페이지가 화면에 렌더링되더라도 사용할 수 있는 다음 페이지 링크를 제공하지 않을 수 있습니다.

페이지 수와 완전한 dataset의 차이는 웹 스크래핑 페이지네이션에서 확인하세요. 페이지당 카드 수를 추정해 정확한 전체 카탈로그 규모를 계산해서는 안 됩니다.

5. 출력 필드 정의하기

Expected Item Outputs에서 요청할 각 필드의 Output Name, Output Description, Output Type을 설정하세요.

Displayed Price는 “From $29”나 가격 범위의 의미를 보존할 수 있도록 우선 text 형식으로 설정하세요. 어떤 가격을 의미하는지 정의한 후에만 별도의 숫자형 Amount를 사용합니다. 할인 가격, 비교 가격, 통화를 설명 없이 하나의 숫자로 합치지 마세요.

카드 단위 레코드의 식별자로 Product URL을 유지하고, source의 Page Scraped output도 함께 보관하세요. 이후 variant가 필요해지면 모든 variant를 동일한 상품 페이지 URL로 합치지 말고, 적절한 variant 또는 SKU 식별자를 추가합니다.

6. Advanced Settings 검토하기

Advanced Settings에서 작업에 사용할 LLM Model과 Max iterations를 확인하세요. 이 가이드에서는 특정 모델이 언제나 가장 좋다거나, 정해진 단계 수가 모든 스토어에 충분하다고 단정하지 않습니다.

샘플을 확인했을 때 요청한 콘텐츠에 JavaScript 렌더링이 필요하다면 Website Scraper Option: Render HTML을 활성화하세요. 렌더링은 사용량과 접근 방식에 영향을 줄 수 있습니다. 모든 페이지에 필요한 기능은 아니며, 숨겨진 콘텐츠를 모두 가져올 수 있다고 보장하지도 않습니다.

Continue를 선택하고 output을 매핑한 다음, 첫 번째 샘플에 대해 Run Import Now를 선택하세요.

7. 실행 범위를 확장하기 전에 검토하기

생성된 행 몇 개를 실제 페이지와 비교하세요. 상품명, 가격, 이미지, 재고 상태 텍스트가 동일한 상품에 속하는지 확인합니다. 누락값은 비워 두고, 가져오기 또는 추출 실패가 있으면 원인을 조사하세요.

결과 형태를 설명하기 위해 세 개의 상품 카드를 가정해 보겠습니다. “From $29”가 표시된 Acme Tee, 할인 라벨이 붙은 Acme Jacket, 재고 상태가 표시되지 않은 Acme Mug가 있다고 합시다. 하나의 가격을 임의로 만들거나 모든 상품이 재고 보유 상태라고 판단하지 말고 이러한 차이를 그대로 보존하세요.

이 예시는 측정된 스크래핑 결과가 아니라 의도한 레코드 형태를 설명합니다. 이후 페이지에서는 중복된 Product URL과 마지막으로 처리한 페이지를 확인하세요. 수집 시각, 필터, 실행 범위, 해결되지 않은 오류도 기록합니다.

Shopify 스토어인지 확인하는 방법

플랫폼을 확인하면 적절한 workflow를 선택하는 데 도움이 되지만, 실제 테스트 대상은 여전히 화면에 표시되는 페이지입니다. 기술 스택이 일치한다고 해서 상품에 접근할 수 있거나 카테고리가 특정 레이아웃을 사용한다는 보장은 없습니다.

도메인 목록이 있다면 technology enrichment workflow를 통해 웹사이트와 함께 검토할 신호를 얻을 수 있습니다. 현재 enrichment 정의를 사용하고 반환된 technologies를 확인하세요.

사이트 하나를 조사할 때는 브라우저의 기술 스택 리포트도 참고 신호로 활용할 수 있습니다. 감지된 플랫폼이 대상 도메인과 일치하는지 확인하세요. 리포트는 상품 데이터 export 파일이 아닙니다.

페이지 source에서 Shopify 관련 문자열을 찾으면 플랫폼 판단에 도움이 될 수 있습니다. 하지만 특정 문자열 하나가 삽입된 asset이나 무관한 텍스트에 포함됐을 수도 있으므로, 스토어를 분류하기 전에 다른 근거와 함께 비교하세요.

지역별 스토어 정보도 필요하다면 Shopify.country 값을 추출하세요. 단, 이 값으로 판매자의 사업자 등록 국가를 확인할 수는 없습니다.

Shopify 스토어를 찾는 방법

상품이 아니라 스토어 도메인이 필요하다면 company discovery workflow부터 시작하세요. 별도 작업인 Shopify 사용 기업 찾기 가이드에서 자세한 방법을 확인할 수 있습니다. 상품 카테고리 스크래핑만으로 플랫폼의 모든 스토어를 찾을 수 있다고 기대해서는 안 됩니다.

site:myshopify.com 같은 검색어를 사용하면 검토할 후보 URL을 확보할 수 있습니다. 하지만 다른 도메인을 사용하는 스토어는 누락되며, 프로젝트에 적합하지 않은 페이지가 포함될 수도 있습니다. 검색 결과는 후보 목록일 뿐, 전체 판매자 목록이 아닙니다.

IP 기반 조회 결과 역시 도메인과 플랫폼을 검증해야 하는 후보에 불과합니다. 호스팅 환경은 바뀔 수 있으므로 오래된 IP 목록을 현재 운영 중인 Shopify 비즈니스의 완전한 목록으로 간주하지 마세요.

승인된 도메인을 확보했다면 수집하려는 batch마다 대표 상품 목록 URL 하나를 선택하세요. 각 레코드의 출처를 설명할 수 있도록 도메인 탐색, 상품 추출, 상세 페이지 enrichment를 구분된 단계로 관리합니다.

검토한 상품 목록 내보내기

Product URL, Page Scraped, 검토를 마친 필드, collection의 context를 함께 export하세요. 원본 행 수를 고유 상품 수와 동일하게 보지 말고 고유 상품 식별자를 확인합니다. Variant를 다룬다면 처음에 정의한 식별 단위를 사용하세요.

필요한 필드를 목적에 맞게 검증한 후에만 상품 조사나 후속 비교에 목록을 사용하세요. 가격, 재고 상태, 카탈로그 범위는 수집 후에도 바뀔 수 있으므로 다른 팀이 snapshot의 기준 시점을 알 수 있도록 timestamp를 보존합니다. CSV에서 timestamp가 숫자형 Unix 값으로 제공된다면 timestamp-to-DateTime workflow를 사용하고, snapshot을 정렬하기 전에 시각을 알고 있는 레코드로 결과를 확인하세요. 여러 스토어를 비교할 때는 리테일러 스크래핑 가이드를 참고해 판매 조건과 날짜별 관측값을 현재 카탈로그와 분리하세요.

Export 단계는 CSV 및 Excel export를 참고하세요. 목록 페이지를 다루는 또 다른 예시는 디렉터리 스크래핑에서 확인할 수 있습니다.

자주 묻는 질문

한 번의 실행으로 모든 상품과 variant를 수집할 수 있나요?

그렇다고 가정해서는 안 됩니다. 시작 카테고리, 페이지네이션 링크, 접근 권한, 페이지 상한, 각 페이지에 표시되는 필드에 따라 결과가 달라집니다. 카드 단위 상품 목록과 variant 재고 목록은 서로 다른 output입니다. Export가 완전하다고 표시하기 전에 수집 범위를 검증하세요.

상품 상세 페이지의 설명도 수집할 수 있나요?

상품 카드에 설명이 없다면 먼저 Product URL을 수집하세요. 그런 다음 해당 페이지를 확인하는 별도의 enrichment를 설정하고 상품 식별자를 유지합니다. 목록 source를 실행했다고 해서 링크된 모든 상세 페이지를 방문했다는 보장은 없습니다.

모니터링을 위해 스크래핑을 반복할 수 있나요?

새 snapshot을 수집해 검토된 식별자와 필드를 비교할 수 있습니다. 수집 시각과 source 범위를 유지하고 기존 값을 어떻게 처리할지 결정하세요. 상품명만 반복된다고 해서 여러 스토어나 variant에서 신뢰할 수 있는 key가 되는 것은 아닙니다.

다른 스토어에도 같은 workflow를 적용할 수 있나요?

이 source는 다른 상품 목록 페이지에도 사용할 수 있지만 접근 방식, 레이아웃, 페이지네이션, 필드 정의는 사이트마다 다릅니다. Shopify 설정을 다른 사이트에 그대로 적용할 수 있다고 가정하지 말고 해당 사이트의 샘플을 테스트하세요.

어떤 제한과 비용을 확인해야 하나요?

현재 collection 허용량, source 설정, 사용 가능한 credits, 샘플 사용량을 확인하세요. Cloud sync 허용량은 상품 스크래핑 한도가 아닙니다. 페이지 상한을 지정해도 작업 완료나 상품당 고정 비용이 보장되지는 않습니다.