كيفية حذف ودمج الصفوف المكررة في CSV أونلاين

لإزالة صفوف CSV المكررة بأمان، طابِق العمود الذي يعرّف كل سجل، وراجع المجموعات المقترحة، ثم احذف الصفوف الزائدة أو ادمج القيم التي تريد الاحتفاظ بها. تنجح هذه الطريقة مع ملف CSV واحد أو عدة ملفات مستوردة إلى مجموعة Datablist نفسها.

استخدم البريد الإلكتروني أو رقم الهاتف أو موقع الشركة أو SKU أو أي معرّف ثابت آخر في المطابقة الأولى. وإذا كانت القيم تتضمن اختلافات إملائية أو تنسيقية، فاستخدم المطابقة الذكية أو التقريبية أو الصوتية، واترك المجموعات غير المؤكدة للمراجعة.

دمج السجلات المكررة من ملفات CSV

يُعد Datablist خيارًا ممتازًا لتنفيذ عمليات على البيانات لا تتيحها جداول البيانات. استخدمه إذا كنت تبحث عن محرر CSV عبر الإنترنت فعّال.

سنستخدم في هذا الدليل ملفَّي CSV يحتويان على آلاف الإدخالات. سنحمّلهما إلى مجموعة واحدة ونزيل الإدخالات المكررة بالاعتماد على عمود واحد من الأعمدة الأربعة. ويمكن تطبيق إزالة التكرارات على ملف CSV واحد أيضًا.

لتنزيل ملفَّي CSV المستخدمين في الشرح: ملف CSV الأول وملف CSV الثاني

تستخدم الملفات القابلة للتنزيل أربعة عناوين أعمدة: firstname وlastname وemail وprofession (المسمى الوظيفي). يحتوي الملف الأول على 1,000 صف بيانات، والثاني على 1,003 صفوف، أي 2,003 صفوف قبل إزالة التكرارات. وهدفنا هو دمج السجلات التي تشترك في عنوان البريد الإلكتروني نفسه.

إذا كان حقل البريد الإلكتروني يحتوي على عدة عناوين في خلية واحدة، فقسّم خلايا CSV متعددة القيم إلى صفوف قبل البحث عن التكرارات. وإذا كان ملف التصدير الأصلي أكبر من أن يُستورد أو يُراجع بأمان، فقسّم ملف CSV الكبير قبل إزالة التكرارات.

يمكن تلخيص عملية دمج التكرارات في الخطوات التالية:

1. تحميل ملفات CSV إلى مجموعة Datablist
2. اختيار الخصائص المستخدمة لاكتشاف التكرارات
3. دمج التكرارات غير المتعارضة تلقائيًا
4. دمج التكرارات المتبقية يدويًا

الخطوة 1: تحميل ملفات CSV إلى مجموعة Datablist

إنشاء مجموعة جديدة

تتمثل الخطوة الأولى في تحميل ملف CSV إلى Datablist. افتح Datablist (لا يلزم التسجيل) للبدء.

لإنشاء مجموعة جديدة، انقر على زر "New collection" الذي يحمل علامة +. وبعد إنشاء المجموعة، اختر لها اسمًا وأيقونة.

ثم انقر على زر Import CSV.

إنشاء خصائص لملف CSV

بعد تحميل ملف CSV، يمكنك إنشاء خصائص للمجموعة باستخدام أسماء أعمدة الملف. يعرض Datablist جميع الأعمدة الموجودة في CSV لتتمكن من إنشاء خاصية لكل منها.

لا تحدد ملفات CSV أنواع الأعمدة. يقترح Datablist أنواعًا بالاعتماد على القيم المستوردة، لتسهيل فرزها وتصفيتها. راجع هذه الاقتراحات قبل الاستيراد.

أحتفظ بالمعرّفات مثل SKU أو معرّف الحساب أو الرمز البريدي بصيغة Text. فتحويل 00127 إلى Number، مثلًا، يحذف الأصفار في بدايته ويغيّر مفتاح المطابقة. راجع دليل أنواع الخصائص إذا لم تكن متأكدًا من النوع المناسب.

مراجعة البيانات واستيرادها

في مرحلة المراجعة، ستظهر صفوف CSV مباشرة كما وردت في الملف. تأكد من تنسيق البيانات جيدًا واتساقها، ثم انقر على زر "Import items"، وبذلك تكون قد انتهيت! 💪

تكرار العملية مع ملفات CSV الأخرى

بعد أن أصبحت لديك مجموعة بخصائص مضبوطة، نفّذ عملية "Import CSV/Excel" لاستيراد ملفات CSV أو Excel الأخرى إلى المجموعة نفسها.

الخطوة 2: البحث عن التكرارات

بعد تحميل ملفات CSV، افتح Clean > Merge duplicates. واختر Remove duplicates بدلًا من ذلك إذا كانت الصفوف الإضافية لا تحتوي على بيانات تحتاج إليها.

يتوفر وضعان:

• يقارن All Properties الصفوف كاملة.
• يقارن Selected Properties الأعمدة التي تعرّف السجل فقط.

في هذا المثال، تكفي الخاصية email لتعريف جهة الاتصال، لذا يمكنك اختيار وضع Selected Properties وتحديد الخاصية email.

بالنسبة إلى ملفَّي الشرح، اختر المطابقة Exact على email للتحقق من العدد: هناك ثماني مجموعات مكررة، تضم كل منها صفين. وبعد اختزال كل مجموعة إلى صف واحد، يجب أن يحتوي ملف CSV المُصدَّر على 1,995 صف بيانات، دون احتساب صف العناوين. إذا اختلف العدد، فتحقق من استيراد كل ملف مرة واحدة فقط، ومن استخدام العمود email للمطابقة، ومن عدم وجود مجموعات لم تُعالج بعد.

إذا أدت الأسماء البديلة أو صيغ التغليف إلى اختلاف القيم، فاستخدم سير العمل المخصص للبريد الإلكتروني من أجل إزالة هذه الاختلافات المكررة.

عملية الفحص للقراءة فقط. تعرض مساحة النتائج المجموعات، وتوضح سبب اعتبارها متطابقة، وتفصل المجموعات الجاهزة عن التطابقات التي تحتاج إلى مراجعة.

حذف صفوف CSV المكررة من دون دمج

إذا كنت تريد حذف الصفوف فقط، فاختر Remove duplicates في مساحة النتائج:

1. تحقّق من Record to keep. الخيار الافتراضي هو Most Complete، أما قواعد اختيار السجل الأخرى فتتطلب خطة مدفوعة. يظل الصف المختار دون تغيير.
2. افتح بعض المجموعات وقارن الصفوف المعلّمة بـ Keep وتلك المعلّمة بـ Remove. تحقّق مما إذا كانت الصفوف التي ستُحذف تحتوي على رقم هاتف أو ملاحظة أو قيمة أحدث ما زلت تحتاج إليها.
3. إذا كانت هذه القيم مهمة، فاختر Merge and preserve data واتبع الخطوة الثالثة أدناه. فالحذف لا ينسخ القيم الإضافية إلى الصف المحتفظ به.
4. عندما تتوافق المجموعات الجاهزة مع هدفك، انقر على Remove ready duplicates. راجع أي تحذير متعلق بفقدان البيانات قبل التأكيد.

على سبيل المثال، يمكن اختزال صفين متطابقين يحملان البريد الإلكتروني نفسه إلى صف واحد. أما إذا كان الصفان يحملان البريد الإلكتروني نفسه ورقمَي هاتف مختلفين، فعليك اتخاذ قرار: الاحتفاظ بأحد السجلين دون تغيير، أو دمج رقمَي الهاتف في السجل الوجهة.

اختر أعمدة المطابقة قبل تحديد الصف الذي سيبقى. يكتشف All Properties الصفوف الكاملة المتطابقة. أما Selected Properties فيستطيع تجميع السجلات الخاصة بجهة الاتصال نفسها حتى مع اختلاف المسميات الوظيفية أو أرقام الهواتف. ولا يكفي موقع شركة مشترك وحده للمطابقة إذا كان عدة أشخاص يعملون في تلك الشركة.

احتفظ بملفات CSV الأصلية. بعد المعالجة، قارن عدد الصفوف المحذوفة بالمجموعات التي راجعتها، وافحص المعرّفات المحتفظ بها، ثم صدّر المجموعة المنظّفة بصيغة CSV. قد تظل الصفوف التي تنتظر المراجعة داخل المجموعة، لذلك لا يعني اكتمال دفعة المعالجة أن جميع التكرارات المحتملة قد حُسمت.

الخطوة 3: دمج التكرارات تلقائيًا

اختر Merge and preserve data عندما تحتوي صفوف CSV الثانوية على قيم مفيدة. يحدد Datablist سجلًا واحدًا بوصفه الوجهة، ويملأ الخصائص الفارغة، ويطبق قواعد التعارض التي اخترتها قبل حذف الصفوف الثانوية.

تفصل المعاينة بين المجموعات الجاهزة وتلك التي لا تزال تحتوي على تعارضات لم تُحل. راجع وثائق Duplicate Finder للاطلاع على جميع إعدادات المراجعة واختيار السجل والقيم التي ستبقى.

وسّع Resolve conflicting values لمعرفة الخصائص التي ما زالت تحتاج إلى قاعدة.

دمج الصفوف غير المتعارضة

تنفّذ خوارزمية "Merge non-conflicting duplicates" عملية "دمج ذكي"، إذ تدمج السجلات ذات القيم المتشابهة أو المتكاملة.

على سبيل المثال، التكرارات التالية:

email            |     First Name   |    Last Name
james@gmail.com  |     James
james@gmail.com  |                  |     Bond

ستُدمج لتصبح:

email            |     First Name   |    Last Name
james@gmail.com  |     James        |     Bond

تجميع القيم المكررة

يُعد تجميع القيم المكررة (أو توحيدها) مثاليًا عندما تحتوي السجلات المكررة على قيم متعارضة، لكنك لا تزال تريد دمجها دون فقدان البيانات.

على سبيل المثال، يمكن تجميع الخاصية Phone باستخدام فاصلة منقوطة:

email            |       Phone       |     First Name   |    Last Name
james@gmail.com  |  +33 1 34 65 23   |      James       |
james@gmail.com  |  06 13 42 78 23   |                  |     Bond

لتُدمج وتصبح:

email            |   Phone                         |     First Name   |    Last Name
james@gmail.com  |  +33 1 34 65 23;06 13 42 78 23  |     James        |     Bond

يمكن تجميع أي خاصية تحتوي على نص. والفواصل المتاحة هي line break وsemi-colon وcomma وspace. ويمكن تجميع خاصية واحدة أو أكثر أثناء الدمج.

يُعد دمج العناصر المكررة وتجميع القيم خيارًا مثاليًا لتنظيف قوائم Leads وبيانات CRM. ادمج جميع Leads المكررة، واجمع خصائص Phone وEmail وNotes للحصول على قائمة نظيفة. وبعد تصدير ملف CSV المنظّف، ما عليك سوى إعادة استيراده إلى CRM.

الاحتفاظ بقيمة السجل المحدد

تحتفظ هذه القاعدة بقيمة سجل الوجهة المحدد وتتجاهل القيم المتعارضة الأخرى.

Most Complete هي القاعدة الافتراضية في Record to keep. وتتيح الخطط المدفوعة اختيار قواعد أخرى أو تحديد قيم الحقول بشكل مستقل باستخدام قواعد تحديد القيم الباقية.

استخدم خيار drop conflicting values في الحالات التالية:

• الخصائص التقنية مثل Account Id التي يجب أن تتضمن قيمة واحدة فقط.
• الخصائص من نوع "Relation" التي لا تقبل قيمًا متعددة، مثل Lead owner وAccount.
• الخصائص غير النصية التي لا يمكن تجميعها، مثل التاريخ والوقت في Last Activity وContacted on، وكذلك مربعات الاختيار.

الخطوة 4: مساعد الدمج اليدوي

افتح Review group عندما تحتاج إحدى مجموعات التكرار إلى قرار يدوي. يتيح لك Merging Assistant اختيار السجل الوجهة والقيمة التي ستُحتفظ بها لكل خاصية.

يحتفظ السجل الوجهة المحدد يدويًا بمعرّف Datablist الخاص به، وتصبح الصفوف الأخرى سجلات ثانوية.

راجع كل خاصية، وحدد القيم التي تريد الاحتفاظ بها، ثم أكّد الدمج. ويمكنك أيضًا استبعاد صف من مجموعة التكرارات أو تخطي المجموعة بالكامل.

التصدير إلى CSV عند الحاجة

تهانينا، لقد أزلت التكرارات من ملفات CSV بنجاح! إذا أردت استخدام النتيجة في أداة أخرى، فانقر على زر "Export" لتصدير المجموعة في ملف CSV جديد.

الأسئلة الشائعة

ما عمليات معالجة البيانات الأخرى المتاحة في Datablist؟

تُستخدم ملفات CSV على نطاق واسع لتعريف البيانات المنظّمة لتطبيقات البرمجيات أو مجموعات البيانات. ورغم انتشارها، تظل معالجة CSV صعبة وغالبًا ما تتطلب معرفة تقنية.

تكفي جداول البيانات للعمليات البسيطة، لكنها محدودة عندما يتعلق الأمر بما يلي:

• دمج ملفات CSV
• إزالة الصفوف المكررة من CSV
• تنظيف البيانات

إذا كانت لديك عدة ملفات CSV تريد ربطها باستخدام عمود فريد، فانتقل إلى دليل ربط ملفات CSV.

هل يستطيع Datablist معالجة ملفات CSV الكبيرة؟

تدعم الخطة المجانية ما يصل إلى مليون عنصر لكل مجموعة في مساحة تخزين المتصفح. وتدعم الخطط المدفوعة استيراد ما يصل إلى مليوني عنصر لكل مجموعة. ومع ذلك، تظل العمليات المحلية الكبيرة مرتبطة بإمكانات المتصفح والجهاز. تعرّف على كيفية تعديل ملفات CSV الكبيرة.

هل تتفوق خوارزمية إزالة التكرارات على ميزات Microsoft Excel وGoogle Sheets؟

توفر أدوات جداول البيانات، مثل Microsoft Excel وGoogle Sheets، أداة لإزالة التكرارات تعمل من خلال حذف الصفوف المتشابهة. لكن حذف الصفوف فحسب ليس خيارًا مثاليًا لاستخدامات الأعمال.

يعرض Datablist مجموعات التكرارات قبل إجراء أي تغيير على الملف. ويمكنك حذف الصفوف الزائدة، أو دمج القيم المتكاملة، أو حل التعارضات، أو ترك المجموعات غير المؤكدة دون تغيير.

إذا كانت لديك أي أسئلة، يُرجى التواصل معنا.