코딩 없이 AI Agent로 Asda 상품 데이터 스크래핑하는 방법

Asda 상품 데이터를 스크래핑하려면 먼저 접근 가능한 카테고리 URL 하나를 준비하고, 필요한 상품 필드를 정의한 다음 Datablist의 AI Agent - Site Scraper로 소규모 추출을 실행하세요. 범위를 확대하거나 CSV로 내보내기 전에 반환된 상품명, 상품 URL, 가격을 검토해야 합니다.

이 방식은 웹사이트에서 데이터를 추출하는 워크플로입니다. 공식 Asda 상품 API를 제공하지 않으며, 로그인이나 배송 지역 설정, 지원되지 않는 상호작용이 필요한 카테고리에 대한 접근을 보장하지도 않습니다. 먼저 한 페이지로 검증하는 것이 좋습니다. 누락되거나 의미가 불분명한 가격은 대량으로 가져온 뒤보다 이 단계에서 발견하는 편이 훨씬 낫습니다.

먼저 데이터 접근 방식을 선택하세요

“Asda API”를 찾고 있었다면 먼저 공식 승인을 받은 카탈로그 접근이 필요한지, 웹사이트에 표시되는 데이터를 특정 시점의 스냅샷으로 수집하려는 것인지 판단해야 합니다. Datablist의 source는 웹사이트 URL을 받아 데이터를 행 단위로 추출해 collection에 저장합니다. Asda의 내부 서비스를 API 형태로 제공하는 기능은 아닙니다.

승인된 접근 권한과 엔지니어링 팀, 명확한 유지보수 요건을 갖추고 반복적인 연동을 구축하려는 경우에는 커스텀 스크래퍼가 적합할 수 있습니다. 코드를 작성하지 않고 출력 필드를 설정하고 싶다면 AI 스크래퍼가 유용합니다. 어떤 방식을 선택하든 접근 가능 여부와 결과를 검증해야 하며, 차단된 페이지에 자동으로 접근할 수 있게 되는 것은 아닙니다.

시작하기 전에 계획한 데이터 수집과 재사용이 허용되는지 확인하세요. Asda가 공개한 이용약관은 상업적 접근을 포함해 사이트 이용과 데이터 재사용을 제한합니다. 누구나 볼 수 있는 데이터라고 해서 카탈로그를 재사용할 권한까지 주어지는 것은 아닙니다. 프로젝트에 필요한 적절한 승인을 받아야 합니다.

샘플 실행과 검수에 필요한 시간도 고려하세요. 실행 시간은 페이지 접근 상태, 렌더링, 모델 처리, 페이지네이션에 따라 달라집니다. “5분 안에 전체 카탈로그 수집”과 같은 고정된 약속은 이 워크플로를 계획하는 데 도움이 되지 않습니다.

Asda 스크래핑 입력값 준비하기

브라우저에서 상품을 확인할 수 있는 구체적인 카테고리 또는 브랜드 목록 페이지를 사용하세요. 현재 Asda 사이트를 열고 해당 페이지의 전체 URL을 복사합니다. 리테일 사이트의 경로는 바뀔 수 있으므로 다른 가이드에서 가져온 오래된 카테고리 URL에 의존하지 마세요.

한 행이 무엇을 나타낼지도 정해야 합니다. 카테고리 스냅샷이라면 각 행은 화면에 표시된 상품 옵션 하나와 해당 source URL을 나타내야 합니다. 스냅샷을 수집한 날짜도 기록하세요. 페이지가 매장 또는 배송 지역에 따라 달라진다면 그 조건을 별도로 기록하고, 스크래퍼에도 동일한 상품 목록이 표시되는지 확인해야 합니다.

다음 필드부터 시작하세요.

• Product Name: 화면에 표시된 상품명입니다. 확인 가능한 경우 포장 용량도 포함합니다.
• Product URL: 결과 확인에 사용할 절대 경로 링크입니다.
• Brand Name: 목록에 브랜드가 표시되는 경우에만 수집합니다.
• Price: 표시된 가격과 통화입니다. 단위 가격은 별도 필드에 저장합니다.
• Sale Price: 할인 가격이 명확하게 표시된 경우에만 수집합니다.
• Availability: 화면에 표시되는 재고 정보이며, 없으면 N/A를 사용합니다.
• SKU / Product ID: 페이지 또는 상품 URL에서 확인할 수 있는 식별자입니다.

Retail Product Scraper 템플릿은 카테고리, 평점, 이미지 출력도 제공합니다. 필요하지 않은 출력은 제거하세요. 필드를 설정했다는 것은 해당 정보를 요청한다는 의미일 뿐, 모든 Asda 상품 카드에 그 정보가 있다는 뜻은 아닙니다.

Asda 상품 스크래핑 단계별 가이드

1. Collection 만들기

Datablist를 열고 스냅샷을 저장할 collection을 만드세요. 추출 결과를 검증하는 동안에는 기존 상품 데이터베이스와 분리해 두는 것이 좋습니다.

New Collection을 클릭하고 리테일 업체와 카테고리를 알아볼 수 있는 이름을 지정합니다.

2. Website Source 열기

비어 있는 collection에서 See all sources를 클릭합니다.

AI Agent - Site Scraper를 선택하세요. 아래 스크린샷은 이전 버전의 설정 화면이므로, 현재 catalog에 표시되는 이름과 설정을 기준으로 진행합니다.

이 source에는 URL, prompt, 예상 item output을 입력합니다. 접근 가능한 페이지에서 데이터를 가져와 새로운 행을 생성합니다.

3. 소규모 테스트 설정하기

Retail Product Scraper 템플릿을 선택하세요. 초기 prompt와 상품 output column이 자동으로 제공됩니다.

Url to scrape의 예시 URL을 현재 사용 중인 카테고리 URL로 교체합니다. 홈페이지나 계정 페이지, 장바구니 URL이 아니라 상품 목록 페이지를 복사했는지 확인하세요.

첫 테스트에서는 Enable Pagination을 끄거나 Max Pages를 1로 설정하세요. 샘플이 정확한 것을 확인한 뒤 적당한 제한값으로 페이지네이션을 활성화하고, 다음 페이지까지 정상적으로 이동했는지 검토합니다. Site Scraper는 페이지 콘텐츠에서 다음 페이지 링크를 찾습니다. “load more” 버튼이나 무한 스크롤 화면에서는 사용할 수 있는 링크가 노출되지 않을 수 있습니다.

Advanced Settings에서 LLM Model과 Website Scraper Option: Render HTML을 확인하세요. 현재 retail 템플릿은 GPT-5 mini를 사용하며 렌더링이 활성화되어 있습니다. 렌더링은 JavaScript로 상품 콘텐츠를 불러올 때 유용하지만, 매장 선택 화면이나 로그인 제한, 차단된 요청까지 해결한다고 보장할 수는 없습니다. 오류 또는 불완전한 결과를 통해 추가 처리 단계가 필요하다고 판단될 때만 Max iterations를 늘리세요.

4. 가격 추출 지침 구체화하기

원하는 출력에 맞게 템플릿 prompt를 수정하세요. 예시는 다음과 같습니다.

페이지 URL은 source의 Url to scrape 설정에 입력합니다. Prompt에는 추출 지침을 작성하고, 실제 데이터는 불러온 페이지에서 가져옵니다.

이 prompt를 사용한다면 Expected Item Outputs에 Unit Price와 Offer Text를 추가하세요. Prompt만 변경해서는 별도의 output definition이 생성되지 않습니다. 통화 기호와 조건을 유지할 수 있도록 가격 및 프로모션 관련 output은 Text 형식으로 설정하세요. 계산에 사용하기 전에는 숫자 값을 반드시 검토해야 합니다.

5. 스냅샷 실행 및 검수하기

Continue를 클릭하고 output mapping을 검토한 다음, Run Import Now로 샘플 import를 시작합니다.

반환된 여러 행을 실제 목록과 비교하세요. 상품 옵션, 포장 용량, 통화, 프로모션 조건을 확인해야 합니다. 예를 들어 500g 상품의 한 행에 포장 가격 £2와 단위 가격 £4/kg이 함께 표시될 수 있습니다. 이는 서로 충돌하는 두 상품 가격이 아니라 별개의 필드입니다. 이 예시는 schema를 설명하기 위한 것으로, 현재 Asda의 실제 가격이 아닙니다.

샘플을 사용할 수 있다면 페이지네이션을 활성화해 다시 실행하세요. 반환된 행 수를 접근 가능한 상품 목록과 비교하고 중복 URL도 확인합니다. 페이지 제한은 실행을 중단하는 조건일 뿐, 해당 카테고리나 전체 카탈로그가 모두 수집됐다는 증거는 아닙니다.

Asda 상품 식별자 선택하기

먼저 절대 경로 형식의 Product URL을 매칭 키로 사용하고, 포장 용량이나 옵션이 다른 상품에 서로 다른 URL이 지정되는지 확인하세요. SKU / Product ID는 앞자리의 0을 포함해 Text 형식으로 보관합니다. URL에서 추출한 식별자는 리테일 업체의 식별자 후보일 뿐, 제조사 바코드나 GTIN이라고 단정할 수 없습니다.

반복 실행할 때는 현재 카탈로그가 필요한지, 가격 이력을 관리할지 선택하세요.

• 현재 카탈로그: 새 스냅샷을 기존 상품과 매칭하고 업데이트할 필드를 정합니다.
• 가격 이력: 상품 식별자, 수집 날짜, 관련 매장 조건을 포함한 관측값을 각각 보관합니다.

Product URL property를 unique로 설정하면 동일한 URL을 가진 행이 추가되는 것을 막을 수 있습니다. 하지만 이것만으로 기존 가격이 갱신되거나 관측 이력이 생성되지는 않습니다. 반복 import에 적용하기 전에 unique property 설정을 확인하세요.

더 큰 규모의 프로젝트를 진행한다면 리테일 웹사이트 스크래핑 가이드에서 전반적인 워크플로를 확인할 수 있습니다. Morrisons, Sainsbury’s, Tesco 가이드에서도 관련된 시작 방법을 다루지만, 각 사이트의 접근 가능 여부와 샘플은 별도로 검증해야 합니다.

Asda 스크래핑 FAQ

Asda 상품 API처럼 사용할 수 있나요?

Datablist는 접근 가능한 웹사이트 URL에서 구조화된 행을 생성합니다. 공식 Asda API를 제공하거나 Asda 식별자의 안정성을 보장하지는 않습니다. 승인된 연동이 필요하다면 먼저 리테일 업체와 이용 가능한 데이터 접근 경로를 확인하세요.

스크래퍼가 상품을 하나도 반환하지 않으면 어떻게 하나요?

브라우저에서 URL을 열고 계정별 상호작용 없이 상품이 표시되는지 확인하세요. 실행 오류를 검토하고, 필요한 경우 렌더링을 활성화한 상태에서 더 작은 카테고리로 테스트합니다. 페이지가 차단되었거나 source에서 수행할 수 없는 상호작용이 필요하다면 실행 범위를 확대하지 마세요. 페이지 제한을 늘려도 접근 문제는 해결되지 않습니다.

프로모션과 할인 가격도 추출할 수 있나요?

접근 가능한 콘텐츠에 해당 정보가 표시될 때만 가능합니다. 묶음 구매나 조건부 프로모션은 무조건적인 가격 인하로 간주하지 말고 Text로 저장하세요. Retail 템플릿은 할인 가격이 없을 때 N/A를 사용하지만, 이를 프로모션이 없다는 검증된 결과로 해석해서는 안 됩니다.

Asda 스크래핑 비용은 얼마인가요?

Datablist의 Starter plan은 월간 결제 기준 매월 미화 $25이며 5,000 credits가 포함됩니다. 구독 중인 사용자는 $20 top-up으로 20,000 credits를 추가할 수 있습니다. 사용량은 모델 처리, 렌더링, 수행 작업에 따라 달라집니다. 대표적인 카테고리 샘플에서 사용된 credit을 기준으로 더 큰 규모의 추출 예산을 산정하세요. 과금 방식은 credits에서 확인할 수 있습니다.

예를 들어 Asda 카테고리 프로젝트에 7,000 credits가 필요할 것으로 예상되고 Starter 기본 제공량이 모두 남아 있다면, top-up 한 번으로 추가 사용량을 충당할 수 있습니다. 신규 구독자가 두 항목을 함께 구매하면 25,000 credits에 총 $45를 지불하고, 7,000 credits 사용 후 18,000 credits가 남습니다. 기존 구독자는 잔여 credits가 충분하다면 해당 잔액을 사용할 수 있습니다. 7,000 credits는 구매 비용 계산을 설명하기 위한 예시입니다. 실제 실행 비용은 샘플을 기준으로 추정하세요.

가격 모니터링을 자동화할 수 있나요?

Cloud-synced collection에서는 Growth plan을 통해 data source automation을 사용할 수 있습니다. Schedule은 설정된 import를 반복 실행하지만, 기존 상품을 업데이트하는 방법이나 관측값을 보관하는 방식까지 자동으로 결정하지는 않습니다. 저장 워크플로를 먼저 정하고 source를 검증한 뒤, 일정을 등록하기 전에 source 설정에서 automation 항목을 확인하세요.