استخراج بيانات المتاجر الإلكترونية دون برمجة بسهولة

Habib Benabdeslam
Habib Benabdeslam
قراءة لمدة 9 دقيقة
استخرج قوائم منتجات المتاجر الإلكترونية
استخراج بيانات المتاجر الإلكترونية دون برمجة بسهولة
جدول المحتويات
  1. الخطوة 1: فهم استخراج بيانات المتاجر الإلكترونية
  2. الخطوة 2: تجهيز عملية استخراج بيانات المتجر
  3. الخطوة 3: بدء استخراج منتجات المتاجر الإلكترونية
    1. افصل سعر البيع عن السعر الأصلي
  4. FAQ

لاستخراج قوائم المنتجات من متاجر التجارة الإلكترونية دون برمجة، زوّد AI Agent - Site Scraper من Datablist برابط URL لفئة المنتجات وPrompt يحدّد الحقول التي تحتاج إليها. فعّل Pagination إذا كان المتجر يعرض المنتجات على أكثر من صفحة، وحدّد عدد الصفحات، ثم تحقّق من روابط المنتجات وأسعارها في النتائج الأولى. يستخدم هذا الدليل صفحة فئة من Gymshark كمثال؛ ويعتمد عدد المنتجات والحقول المتاحة على كل متجر.

المدخلات: رابط URL واحد لفئة أو لصفحة جميع المنتجات في كل عملية تشغيل. المخرجات: صف واحد لكل منتج يتم العثور عليه، مع حقول مثل الاسم ورابط المنتج والسعر المعروض ورابط الصورة عند توفرها. التحقق: قارن بضعة صفوف بالصفحات الأصلية، وأزل روابط المنتجات المكررة قبل التصدير. وإذا كنت تريد استخراج آراء العملاء عن المتجر بدلًا من قوائم المنتجات، فإن سير عمل تقييمات Trusted Shops يخصّص صفًا لكل تقييم ويتحقق من التقييمات والتواريخ وتداخل الصفحات قبل التحليل.

الخطوة 1: فهم استخراج بيانات المتاجر الإلكترونية

هناك طريقتان لاستخراج المنتجات من مواقع التجارة الإلكترونية:

يمكنك إما:

  1. استخراج المنتجات المحددة من صفحات "المجموعة/الفئة" في المتجر الإلكتروني ⬅️ وهذه هي الطريقة التي سنطبّقها اليوم

    هذه صفحة الفئة التي سأستخدمها لاستخراج جميع المنتجات
    هذه صفحة الفئة التي سأستخدمها لاستخراج جميع المنتجات
  2. البدء من صفحة "جميع المنتجات" إذا كنت تريد تغطية أوسع. ومع ذلك، ستظل النتائج محدودة بالصفحات التي يستطيع Agent الوصول إليها وبالحد الأقصى للصفحات الذي تحدده.

    تمنحك صفحات ”جميع المنتجات“ تحكمًا أقل في المنتجات المستخرجة
    تمنحك صفحات ”جميع المنتجات“ تحكمًا أقل في المنتجات المستخرجة

يعمل إعداد AI Agent بالطريقة نفسها في الحالتين؛ ولا تختلف سوى نقطة البداية.

الخطوة 2: تجهيز عملية استخراج بيانات المتجر

التحضير الجيد نصف النجاح، أليس كذلك؟ إليك ما سنفعله لتجهيز عملية استخراج بيانات المتجر الإلكتروني:

  1. اختر رابط URL لفئة أو لصفحة جميع المنتجات في المتجر الذي تريد فحصه
  2. أنشئ حسابًا في Datablist
  3. أنشئ Collection في Datablist

لنبدأ!

لاستخراج المنتجات من المتاجر الإلكترونية دون برمجة، تحتاج إلى أداة تفهم تعليماتك المكتوبة بلغة طبيعية. ومن هذه الأدوات AI Research Agent في Datablist.

الصفحة الرئيسية لـ Datablist
الصفحة الرئيسية لـ Datablist

بعد إنشاء حسابك في Datablist، ستحتاج إلى إعداد الأتمتة. وسأشرح لك الطريقة!

أنشئ Collection جديدة بالنقر على علامة الجمع، أو استخدم الاختصار "N" مباشرةً.

صفحة إنشاء Collection جديدة في Datablist
صفحة إنشاء Collection جديدة في Datablist

هذا ما ستراه عند إنشاء Collection جديدة. لقد غيّرت اسم الـCollection لدي بالفعل (وأضفت إليها رمزًا تعبيريًا لطيفًا أيضًا).

هكذا تبدو Collection فارغة في Datablist
هكذا تبدو Collection فارغة في Datablist

انتهينا من التحضير. والآن حان وقت التنفيذ.

الخطوة 3: بدء استخراج منتجات المتاجر الإلكترونية

لبدء استخراج المنتجات من المتاجر الإلكترونية، عليك تنفيذ ثلاثة أمور:

  1. اختيار "AI Agent - Site Scraper" كمصدر
  2. لصق Prompt يوضّح لـ AI Agent الهدف المطلوب
  3. إنشاء Output Property لكل معلومة تريد استخراجها عن المنتج

بعد أن حدّدنا كل ما سنفعله، لنبدأ عملية الاستخراج!

انقر على "See all sources" لبدء إعداد AI Agent للاستخراج.

هكذا يمكنك الوصول إلى مصادر البيانات المتنوعة في Datablist
هكذا يمكنك الوصول إلى مصادر البيانات المتنوعة في Datablist

اختر الآن “AI Agent - Site Scraper”.

يتيح لك AI Agent Site Scraper من Datablist استخراج البيانات من معظم الصفحات
يتيح لك AI Agent Site Scraper من Datablist استخراج البيانات من معظم الصفحات

ألصق في الحقل الأول رابط URL للموقع الذي تريد استخراج المنتجات منه.

رابط URL لصفحة الفئة التي أريد استخراج بياناتها باستخدام AI Agent
رابط URL لصفحة الفئة التي أريد استخراج بياناتها باستخدام AI Agent

بعد ذلك، اكتب Prompt يوضّح لـ AI Agent المعلومات التي تريد استخراجها من المتجر الإلكتروني (ويمكنك أيضًا استخدام الـPrompt أدناه).

يسهّل الـPrompt المناسب عملية استخراج المنتجات كثيرًا
يسهّل الـPrompt المناسب عملية استخراج المنتجات كثيرًا
Prompt لاستخراج المنتجات

السياق: لديّ متجر إلكتروني يعرض قائمة من المنتجات.

===

ما أريد منك فعله: زيارة هذا الموقع واستخراج جميع المنتجات المعروضة ومعلوماتها.

===

طريقة التنفيذ: زُر الموقع الذي سأزوّدك برابطه، واستخرج جميع المعلومات المعروضة عن كل منتج.

===

ملاحظة مهمة بشأن المهمة: لا تستخرج أي معلومات غير مرتبطة بمنتج، مثل عبارات الحث على اتخاذ إجراء.

===

فيما يلي وصف للبيانات التي نبحث عنها:

  • اسم المنتج
  • رابط صفحة المنتج
  • السعر الأصلي للمنتج بالعملة المعروضة
  • فئة المنتج: (أمثلة: وجبات فورية متكاملة غذائيًا، قمصان Tank Tops، جوارب)
  • مواصفة المنتج 1: (أمثلة: قصة ضاغطة، 40 غرامًا من البروتين، جوارب قصيرة فاخرة)
  • مواصفة المنتج 2: (أمثلة: اللون، عدد القطع، عدد الحصص)
  • الوسوم الخاصة: (أمثلة: جديد، إصدار محدود، الفرصة الأخيرة، إلخ. أعد "None" إذا لم توجد وسوم)
  • الرابط المطلق لصورة المنتج
  • نسبة الخصم المئوية (إن توفرت. أعد "None" إذا لم يوجد خصم)

لا تُرجع أي بيانات لا تندرج ضمن هذه الأنواع، وأعد معلومة واحدة فقط لكل نوع.

===

ملاحظة مهمة بشأن البيانات: لا تتبع جميع الصفحات البنية نفسها، لكن المنتجات موضّحة بما يكفي لتمييز نقاط البيانات المختلفة.

افصل سعر البيع عن السعر الأصلي

يطلب الـPrompt أعلاه السعر الأصلي والخصم. ولإجراء مقارنة للأسعار، يُفضّل أيضًا جمع سعر البيع المعروض. أضف الجزء التالي إلى الـPrompt، ثم أنشئ Output Properties مطابقة للحقول السعر المعروض والعملة وشرط السعر إلى جانب حقل السعر الأصلي الموجود:

فصل أسعار قوائم المتجر الإلكتروني

أعد أيضًا الحقول التالية لكل منتج:
السعر المعروض: سعر البيع الظاهر في القائمة، مع الاحتفاظ بعبارات مثل "ابتداءً من".
العملة: العملة المذكورة صراحةً في الصفحة؛ اترك الحقل فارغًا إذا لم تكن واضحة.
السعر الأصلي: السعر المشطوب أو المحدد بصفته السعر الأصلي، وذلك عند ظهوره فقط؛ وإلا فاترك الحقل فارغًا.
شرط السعر: انسخ أي شرط ظاهر مثل "ابتداءً من" أو "سعر الأعضاء" أو "الخيار المحدد"؛ وإلا فاترك الحقل فارغًا.

لا تحسب سعرًا أصليًا مفقودًا انطلاقًا من قيمة الخصم. ولا تتعامل مع سعر البداية على أنه سعر جميع خيارات المنتج.

في بطاقة توضيحية تحمل عبارة “24 EUR، بدلًا من 30 EUR”، تحقّق من أن السعر المعروض هو 24، والسعر الأصلي 30، والعملة EUR. وفي حالة “ابتداءً من 24 EUR”، احتفظ بعبارة ابتداءً من ضمن القيمة المعروضة أو شرط السعر، واترك السعر الأصلي فارغًا ما لم تعرضه الصفحة.

اختبر منتجًا مخفّضًا ومنتجًا بسعر يبدأ من قيمة معينة قبل زيادة Max Pages. قارن القيم المستخرجة بالقيم الظاهرة في روابط المنتجات نفسها داخل القائمة. فسعر البداية والسعر الثابت لخيار محدد يمثّلان عرضين مختلفين، لذلك أبقِ شروط السعر ظاهرة عند مقارنة الصفوف المصدّرة.

إذا كانت القائمة موزعة على أكثر من صفحة، فعّل Enable Pagination واضبط Max Pages على عدد صغير في أول عملية تشغيل. يتحكم هذا الحد في عدد الصفحات التي تتم زيارتها، لا في عدد المنتجات التي يتم إرجاعها. تحقّق من إمكانية الوصول إلى روابط الصفحة التالية؛ فإذا كانت هناك صفحة واحدة فقط أو كان الوصول إلى الصفحة التالية محظورًا، فلن تحصل على كتالوج كامل.

يُعد تفعيل Pagination ضروريًا عند استخراج بيانات المتاجر الإلكترونية
يُعد تفعيل Pagination ضروريًا عند استخراج بيانات المتاجر الإلكترونية

عليك الآن إنشاء حقل أو عمود مخرجات لكل نوع من معلومات المنتجات التي تريد استخراجها.

Output Property لحفظ أسماء المنتجات المستخرجة
Output Property لحفظ أسماء المنتجات المستخرجة

انقر على "More" لإنشاء المزيد من حقول المخرجات، وواصل العملية حتى يصبح لديك حقل لكل نوع من المعلومات.

أنشئ العدد الذي تحتاج إليه من Properties لحفظ معلومات المنتجات المستخرجة
أنشئ العدد الذي تحتاج إليه من Properties لحفظ معلومات المنتجات المستخرجة

إذا أردت حفظ مواصفات المنتجات في حقول منفصلة، فأنشئ حقلًا لكل مواصفة. إليك مثالًا:

مثال على مواصفات المنتجات
مثال على مواصفات المنتجات
إنشاء Property لكل مواصفة ضروري للحصول على عرض منظم للبيانات
إنشاء Property لكل مواصفة ضروري للحصول على عرض منظم للبيانات

💡 افعل ذلك للحصول على نتائج استخراج أدق

قدّم إلى AI Agents أمثلة واضحة على مواصفات المنتجات التي تريدها. إليك مثالًا مستندًا إلى قمصان Tank Tops من Gymshark (في الصورة أعلاه):

مواصفة المنتج 1: قصة Slim Fit
مواصفة المنتج 2: أسود

بعد إنشاء جميع حقول المخرجات الخاصة بالمعلومات التي تريد استخراجها، حدّد مربع الاختيار بجوار "Advanced Settings".

فعّل Advanced Settings للوصول إلى المزيد من ميزات الاستخراج
فعّل Advanced Settings للوصول إلى المزيد من ميزات الاستخراج

يمكنك الآن:

  1. اختيار Model متاح إذا كان الخيار الافتراضي لا يناسب ميزانيتك أو احتياجات الاستخراج؛ قارن عينة صغيرة قبل تنفيذ عملية أكبر.
  2. تحديد الحد الأقصى لعدد Iterations. قد تؤدي زيادة العدد إلى استهلاك مزيد من Credits؛ تعرّف إلى آلية عمل AI Agents.
  3. تجربة Render HTML إذا كانت المنتجات تُحمّل عبر JavaScript ولم تُرجع العملية الأولى صفوفًا قابلة للاستخدام. تحقّق من المخرجات مجددًا بعد تفعيله.

بعد تفعيله، انقر على “Continue”.

يُعد خيار ”Render HTML“ ميزة نادرة في أدوات الاستخراج
يُعد خيار ”Render HTML“ ميزة نادرة في أدوات الاستخراج

بعد ذلك، انقر على Run import now لاستخراج المنتجات من رابط URL المحدد لهذه العملية.

النقرة الأخيرة قبل أن يبدأ AI Agent استخراج المنتجات
النقرة الأخيرة قبل أن يبدأ AI Agent استخراج المنتجات

فيما يلي مثال على نتيجة من website scraper AI Agent. تعتمد الحقول وعدد الصفوف على الصفحة المصدر والـPrompt المستخدم.

هذه هي المنتجات التي استخرجتها من الموقع الذي عرضته في البداية
هذه هي المنتجات التي استخرجتها من الموقع الذي عرضته في البداية

💡 افعل ذلك لتجنّب البيانات المكررة

استخدم رابط المنتج كمعرّف فريد عندما يخصص المتجر رابطًا ثابتًا لكل منتج. فقد تتكرر أسماء المنتجات باختلاف المقاسات أو الخيارات. يمنع هذا الإعداد ظهور صفوف مكررة في الـCollection، لكنه لا يمنع Agent من زيارة الصفحات أو استهلاك Credits في عملية تشغيل لاحقة.

راجع التعليمات أدناه ⬇️

اختر أولًا المعرّف الفريد. في حالتي، سأستخدم رابط المنتج، لكن يمكنك اختيار قيمة أخرى تناسب بياناتك.

بعد ذلك، انقر على عنوان العمود واختر "Rename - Settings - Delete".

خيارات الأعمدة في Datablist
خيارات الأعمدة في Datablist

حدّد الآن مربع "Do not allow duplicate values"، ثم انقر على "Save Property".

هكذا تنشئ معرّفًا فريدًا في Datablist
هكذا تنشئ معرّفًا فريدًا في Datablist

بعد تنفيذ ذلك، سيظهر كل منتج من المتجر مرة واحدة فقط في الـCollection، حتى إذا استخرجت بيانات المتجر الإلكتروني نفسه عدة مرات.

سترى أيضًا أيقونة مفتاح في عنوان العمود لتأكيد تعيينه معرّفًا فريدًا.

تظهر أيقونة مفتاح بجوار كل معرّف فريد
تظهر أيقونة مفتاح بجوار كل معرّف فريد

الخلاصة

لإنشاء قائمة منتجات قابلة للاستخدام، ابدأ برابط URL الصحيح للفئة، واطلب فقط الحقول الظاهرة في القائمة، واجعل أول عملية تشغيل محدودة. تحقّق من الأسعار وروابط المنتجات والقيم المفقودة وPagination قبل زيادة عدد الصفحات. واحرص على الالتزام بقواعد الوصول إلى المتجر وشروطه.

هل يمكن استخراج بيانات المتاجر الإلكترونية دون برمجة؟

نعم، يتيح لك AI من Datablist استخراج بيانات المتاجر الإلكترونية باستخدام أوامر بلغة طبيعية. ما عليك سوى كتابة التعليمات بوضوح، وسيتولى AI Agent الجوانب التقنية.

كيف تراقب تغيّر الأسعار في المتاجر الإلكترونية؟

شغّل سير عمل القائمة نفسه مجددًا، ثم قارن عمود الأسعار الجديد بالبيانات التي صدّرتها سابقًا. يشرح دليل منتجات Morrisons كيفية الاحتفاظ بلقطات مؤرخة والتمييز بين عروض More Card والأسعار العادية. استخدم رابط منتج ثابتًا لمطابقة الصفوف؛ فقد يختلف سعر القائمة عن سعر صفحة المنتج أو يتغير بحسب الخيار.

كيف تستخرج معلومات المنتجات من المتاجر الإلكترونية؟

أدخل رابط URL واحدًا لفئة أو لصفحة جميع المنتجات، واطلب حقولًا محددة مثل اسم المنتج ورابطه وسعره المعروض ورابط صورته، ثم اربط كل حقل بـOutput Property. افحص الصفوف الأولى قبل زيادة الحد الأقصى للصفحات.

كيف تستخرج بيانات عدة متاجر إلكترونية دفعة واحدة؟

يقبل Site Scraper رابط URL ابتدائيًا واحدًا في كل عملية تشغيل. شغّله بصورة منفصلة لكل متجر أو فئة، ثم ادمج النتائج في Collection إذا كان ذلك مفيدًا. وتعتمد التغطية على الصفحات المتاحة والحد الأقصى للصفحات الذي تحدده.

هل استخراج بيانات المواقع قانوني؟

تحقّق من شروط كل متجر وأذونات الاستخدام قبل جمع بياناته. فكون البيانات متاحة للعامة لا يعني تلقائيًا السماح بجمعها، كما تختلف القواعد باختلاف الموقع والبلد.