코딩 없이 이커머스 상품 데이터 스크래핑하기: AI 실전 가이드

Habib Benabdeslam
Habib Benabdeslam
8분 소요
이커머스 상품 목록 스크래핑
코딩 없이 이커머스 상품 데이터 스크래핑하기: AI 실전 가이드
목차
  1. 1단계 – 이커머스 사이트 스크래핑 이해하기
  2. 2단계 – 이커머스 사이트 스크래핑 준비하기
  3. 3단계 – 이커머스 상품 스크래핑 시작하기
    1. 판매가와 정가를 별도 필드로 수집하기
  4. FAQ

코딩 없이 이커머스 상품 목록을 스크래핑하려면 Datablist의 AI Agent - Site Scraper에 카테고리 URL과 필요한 필드를 설명하는 프롬프트를 입력하세요. 상품 목록이 여러 페이지에 걸쳐 있다면 페이지네이션을 활성화하고 페이지 수 제한을 설정한 다음, 첫 번째 결과에서 상품 URL과 가격을 확인합니다. 이 가이드에서는 Gymshark 카테고리 페이지를 예로 사용합니다. 추출할 수 있는 상품 수와 필드는 스토어마다 다릅니다.

입력: 실행할 때마다 카테고리 또는 전체 상품 URL 하나. 출력: 검색된 상품별로 한 행씩 생성되며, 가능한 경우 상품명, 상품 URL, 표시 가격, 이미지 URL 등의 필드가 포함됩니다. 확인: 일부 행을 원본 페이지와 비교하고, 내보내기 전에 중복된 상품 URL을 제거하세요. 상품 목록이 아니라 스토어 리뷰를 수집하려면 Trusted Shops 리뷰 워크플로를 참고하세요. 이 워크플로는 리뷰 하나를 한 행으로 저장하며, 분석 전에 평점과 날짜, 페이지 간 데이터 중복을 확인합니다.

1단계 – 이커머스 사이트 스크래핑 이해하기

이커머스 사이트에서 상품을 스크래핑하는 방법은 두 가지입니다.

다음 중 하나를 선택할 수 있습니다.

  1. 이커머스 사이트의 "컬렉션/카테고리" 페이지를 스크래핑해 원하는 상품만 추출하기 ⬅️ 이 가이드에서 사용할 방법입니다

    모든 상품을 스크래핑하는 데 사용할 카테고리 페이지
    모든 상품을 스크래핑하는 데 사용할 카테고리 페이지
  2. 더 많은 상품을 수집하려면 "전체 상품" 페이지에서 시작하기. 다만 결과는 Agent가 접근할 수 있는 페이지와 설정한 페이지 수 제한의 영향을 받습니다.

    “전체 상품” 페이지는 추출할 상품을 세밀하게 선택하기 어렵습니다
    “전체 상품” 페이지는 추출할 상품을 세밀하게 선택하기 어렵습니다

AI Agent 설정 방식은 동일하며, 시작하는 페이지만 다릅니다.

2단계 – 이커머스 사이트 스크래핑 준비하기

준비가 절반이라는 말이 있죠. 이커머스 사이트 스크래핑을 위해 다음 작업을 진행하겠습니다.

  1. 확인하려는 스토어의 카테고리 또는 전체 상품 URL 선택하기
  2. Datablist 가입하기
  3. Datablist에서 collection 생성하기

시작해 보겠습니다.

코딩 없이 이커머스 상품을 스크래핑하려면 일상적인 언어로 작업을 지시할 수 있는 도구가 필요합니다. 그중 하나가 Datablist의 AI Research Agent입니다.

Datablist 홈페이지
Datablist 홈페이지

Datablist에 가입했다면 자동화를 설정해야 합니다. 지금부터 방법을 설명하겠습니다!

더하기 버튼을 클릭해 새 collection을 생성하거나 단축키 "N"을 사용하세요.

Datablist의 새 collection 생성 페이지
Datablist의 새 collection 생성 페이지

새 collection을 만들면 다음과 같은 화면이 표시됩니다. 여기서는 collection 이름을 미리 변경하고 이모지도 추가했습니다.

Datablist의 비어 있는 collection 화면
Datablist의 비어 있는 collection 화면

준비는 모두 끝났습니다. 이제 본격적으로 시작해 보겠습니다.

3단계 – 이커머스 상품 스크래핑 시작하기

이커머스 사이트에서 상품 스크래핑을 시작하려면 다음 세 가지 작업이 필요합니다.

  1. 데이터 소스로 "AI Agent - Site Scraper" 선택하기
  2. 원하는 작업을 AI Agent에 설명하는 프롬프트 붙여넣기
  3. 스크래핑할 각 상품 정보에 맞는 output property 생성하기

전체 과정을 확인했으니 이제 스크래핑을 시작해 보겠습니다!

AI Agent의 스크래핑 설정을 시작하려면 "See all sources"를 클릭하세요.

Datablist의 다양한 데이터 소스에 접근하는 방법
Datablist의 다양한 데이터 소스에 접근하는 방법

이제 “AI Agent - Site Scraper”를 선택하세요.

Datablist의 AI Agent Site Scraper로 대부분의 페이지를 스크래핑할 수 있습니다
Datablist의 AI Agent Site Scraper로 대부분의 페이지를 스크래핑할 수 있습니다

첫 번째 필드에 상품을 스크래핑할 사이트의 URL을 붙여넣습니다.

AI Agent로 스크래핑할 카테고리 페이지 URL
AI Agent로 스크래핑할 카테고리 페이지 URL

그다음 AI Agent에 해당 이커머스 사이트에서 수집할 정보를 설명하는 프롬프트를 입력하세요. 아래 프롬프트를 그대로 사용해도 됩니다.

정확한 프롬프트를 사용하면 상품을 훨씬 쉽게 추출할 수 있습니다
정확한 프롬프트를 사용하면 상품을 훨씬 쉽게 추출할 수 있습니다
상품 추출 프롬프트

배경: 상품 목록이 있는 이커머스 사이트가 있습니다.

===

요청 사항: 해당 사이트를 방문해 화면에 표시된 모든 상품과 관련 정보를 수집하세요.

===

작업 방법: 제가 제공하는 링크의 사이트를 방문해 각 상품에 표시된 모든 정보를 추출하세요.

===

중요 사항: CTA 등 상품과 연결되지 않은 정보는 추출하지 마세요.

===

수집할 정보는 다음과 같습니다.

  • 상품명
  • 상품 페이지 링크
  • 화면에 표시된 통화 기준 상품 정가
  • 상품 카테고리: (예: 완전 영양 즉석식, 탱크톱, 양말)
  • 상품 사양 1: (예: 컴프레션 핏, 단백질 40g, 프리미엄 페이크 삭스)
  • 상품 사양 2: (예: 색상, 개수, 제공량)
  • 특별 태그: (예: 신상품, 한정판, 마지막 구매 기회 등. 없다면 "None" 반환)
  • 상품 이미지의 절대 링크
  • 할인율(%): (제공되는 경우. 할인이 없다면 "None" 반환)

위 데이터 유형에 해당하지 않는 정보는 반환하지 말고, 각 유형에는 하나의 정보만 반환하세요.

===

데이터 관련 중요 사항: 모든 페이지의 구조가 같지는 않지만, 상품에 라벨이 명확하게 표시되어 있으므로 각 데이터 항목을 구분할 수 있습니다.

판매가와 정가를 별도 필드로 수집하기

위 프롬프트는 정가와 할인율을 요청합니다. 가격을 비교하려면 화면에 표시된 판매가도 함께 수집하는 것이 좋습니다. 아래 블록을 프롬프트에 추가한 다음, 기존 정가 필드와 함께 Displayed price, Currency, Price condition에 대응하는 output property를 생성하세요.

이커머스 상품 가격 분리하기

각 상품에 대해 다음 필드도 반환하세요.
Displayed price: 상품 목록에 표시된 판매가. From과 같은 문구도 그대로 유지합니다.
Currency: 페이지에 명시된 통화. 확실하지 않으면 비워 둡니다.
Original price: 취소선으로 표시되거나 정가라고 명시된 가격이 보일 때만 반환하고, 그렇지 않으면 비워 둡니다.
Price condition: From, 회원가, 선택한 옵션 등 화면에 표시된 조건을 그대로 복사하고, 없다면 비워 둡니다.

할인율을 이용해 누락된 정가를 계산하지 마세요. 시작 가격을 모든 옵션의 가격으로 간주하지 마세요.

“EUR 24, 정가 EUR 30”이라고 표시된 예시 상품 카드에서는 displayed price가 24, original price가 30, currency가 EUR인지 확인하세요. “From EUR 24”라면 displayed value 또는 price condition에 From을 유지하고, 페이지에서 정가를 제공하지 않는 한 original price는 비워 두세요.

Max Pages를 늘리기 전에 할인 상품과 시작 가격이 표시된 상품을 각각 테스트하세요. 반환된 값을 상품 목록의 동일한 상품 URL과 비교합니다. 시작 가격과 특정 옵션의 고정 가격은 서로 다른 조건이므로, 내보낸 행을 비교할 때도 해당 조건이 표시되도록 해야 합니다.

상품 목록이 두 페이지 이상이라면 Enable Pagination을 켜고 첫 실행의 Max Pages를 작은 값으로 설정하세요. 페이지 제한은 방문할 페이지 수를 제어하며, 반환되는 상품 수를 의미하지 않습니다. 다음 페이지 링크에 접근할 수 있는지도 확인하세요. 페이지가 하나뿐이거나 다음 페이지가 차단되어 있다면 전체 카탈로그를 수집할 수 없습니다.

이커머스 사이트 스크래핑에서 페이지네이션 활성화는 매우 중요합니다
이커머스 사이트 스크래핑에서 페이지네이션 활성화는 매우 중요합니다

이제 스크래핑할 상품 정보 유형마다 output field/column을 하나씩 생성해야 합니다.

추출한 상품명을 저장하는 output property
추출한 상품명을 저장하는 output property

더 많은 output field를 생성하려면 "More"를 클릭하세요. 필요한 모든 정보 유형에 각각의 output field를 만들 때까지 이 과정을 반복합니다.

스크래핑한 상품 정보를 저장하는 데 필요한 만큼 property를 생성하세요
스크래핑한 상품 정보를 저장하는 데 필요한 만큼 property를 생성하세요

상품 사양을 각각 별도로 저장해야 한다면 사양별로 field를 생성하세요. 예시는 다음과 같습니다.

상품 사양 예시
상품 사양 예시
데이터를 깔끔하게 정리하려면 사양별로 property를 하나씩 생성해야 합니다
데이터를 깔끔하게 정리하려면 사양별로 property를 하나씩 생성해야 합니다

💡 스크래핑 정확도를 높이는 방법

수집하려는 상품 사양의 구체적인 예시를 AI Agent에 제공하세요. 다음은 위 이미지에 나온 Gymshark 탱크톱을 기준으로 작성한 예시입니다.

상품 사양 1: Slim Fit
상품 사양 2: Black

스크래핑할 모든 정보에 필요한 output field를 생성했다면 "Advanced Settings" 체크박스를 클릭하세요.

고급 스크래핑 기능을 사용하려면 Advanced Settings를 활성화하세요
고급 스크래핑 기능을 사용하려면 Advanced Settings를 활성화하세요

이제 다음 항목을 설정할 수 있습니다.

  1. 기본 모델이 비용이나 데이터 추출 요건에 맞지 않는다면 사용 가능한 다른 모델을 선택하세요. 대규모로 실행하기 전에 소규모 샘플로 결과를 비교하는 것이 좋습니다.
  2. 최대 iteration 횟수를 설정하세요. iteration이 많아지면 credit 사용량도 늘어날 수 있습니다. 자세한 내용은 AI Agent의 작동 방식을 참고하세요.
  3. 상품이 JavaScript로 로드되어 첫 실행에서 유효한 행이 반환되지 않는다면 Render HTML을 사용해 보세요. 활성화한 뒤 결과를 다시 확인합니다.

설정을 활성화했다면 “Continue”를 클릭하세요.

다른 도구에서는 좀처럼 찾아보기 어려운 “Render HTML” 기능
다른 도구에서는 좀처럼 찾아보기 어려운 “Render HTML” 기능

그다음 Run import now를 클릭해 이번 실행에 설정한 URL에서 상품을 추출합니다.

AI Agent가 상품 추출을 시작하기 전 마지막 클릭
AI Agent가 상품 추출을 시작하기 전 마지막 클릭

다음은 website scraper AI Agent의 결과 예시입니다. 필드와 행 개수는 원본 페이지와 프롬프트에 따라 달라집니다.

처음 소개한 사이트에서 스크래핑한 상품
처음 소개한 사이트에서 스크래핑한 상품

💡 중복 데이터를 방지하는 방법

스토어에서 상품마다 고정된 URL을 제공한다면 상품 URL을 unique identifier로 사용하세요. 상품명은 사이즈나 옵션에 따라 중복될 수 있습니다. uniqueness 설정은 collection에 중복 행이 생성되는 것을 막아 주지만, 이후 실행에서 Agent가 페이지를 다시 방문하거나 credit을 사용하는 것까지 방지하지는 않습니다.

아래 안내를 참고하세요 ⬇️

먼저 unique identifier로 사용할 항목을 선택합니다. 여기서는 상품 링크를 사용하지만, 상황에 따라 다른 항목을 선택해도 됩니다.

그다음 column header를 클릭하고 "Rename - Settings - Delete"를 선택하세요.

Datablist의 column 옵션
Datablist의 column 옵션

이제 "Do not allow duplicate values" 체크박스를 선택한 뒤 "Save Property"를 클릭하세요.

Datablist에서 unique identifier를 생성하는 방법
Datablist에서 unique identifier를 생성하는 방법

설정이 끝나면 같은 이커머스 스토어를 여러 번 스크래핑해도 각 상품이 collection에 한 번만 표시됩니다.

column header에 이 설정이 적용되었음을 나타내는 열쇠 아이콘도 표시됩니다.

모든 unique identifier의 오른쪽에는 열쇠 아이콘이 표시됩니다
모든 unique identifier의 오른쪽에는 열쇠 아이콘이 표시됩니다

결론

활용도 높은 상품 목록을 만들려면 적절한 카테고리 URL에서 시작하고, 목록에 실제로 표시된 필드만 요청하며, 첫 실행 범위는 작게 설정하세요. 페이지 수 제한을 늘리기 전에 가격, 상품 링크, 누락된 값, 페이지네이션을 확인해야 합니다. 또한 해당 스토어의 접근 정책과 이용약관을 준수하세요.

코딩 없이 이커머스 사이트를 스크래핑할 수 있나요?

네. Datablist AI를 사용하면 자연어 명령만으로 이커머스 사이트를 스크래핑할 수 있습니다. 원하는 작업을 일상적인 표현으로 작성하면 기술적인 부분은 AI Agent가 처리합니다.

이커머스 사이트의 가격 변동을 모니터링하는 방법은?

동일한 상품 목록 워크플로를 다시 실행하고 새 가격 column을 이전에 내보낸 데이터와 비교하세요. Morrisons 상품 가이드에서는 날짜별 관측값을 보관하고 More Card 혜택과 일반 가격을 구분하는 방법을 설명합니다. 행을 매칭할 때는 고정된 상품 URL을 사용하세요. 상품 목록의 가격은 상품 상세 페이지와 다르거나 옵션에 따라 달라질 수 있습니다.

이커머스 사이트에서 상품 정보를 스크래핑하는 방법은?

카테고리 또는 전체 상품 URL 하나를 입력하고 상품명, URL, 표시 가격, 이미지 URL 등 필요한 필드를 지정한 다음, 각 필드를 output property에 매핑하세요. 페이지 수 제한을 늘리기 전에 첫 번째로 반환된 행을 검토합니다.

여러 이커머스 사이트를 한 번에 스크래핑할 수 있나요?

Site Scraper는 한 번 실행할 때 시작 URL 하나를 받습니다. 스토어나 카테고리별로 따로 실행한 뒤, 필요하다면 결과를 하나의 collection에 합치세요. 수집 범위는 접근 가능한 페이지와 설정한 페이지 수 제한에 따라 달라집니다.

웹사이트 스크래핑은 합법인가요?

데이터를 수집하기 전에 각 스토어의 이용약관과 허용 범위를 확인하세요. 데이터가 공개되어 있다는 사실만으로 수집 권한이 생기는 것은 아니며, 관련 규정은 사이트와 지역에 따라 다릅니다.