توحيد قيم الحقول المكررة دون دمج السجلات نهائيًا

لتوحيد قيم الحقول من دون دمج الصفوف، ابحث عن السجلات التي تخص الكيان نفسه، واختر قيمة واحدة للحقل المستهدف، ثم انسخها إلى جميع سجلات المجموعة. في Datablist، استخدم Custom with AI داخل Duplicates Finder، واطلب منه بوضوح الاحتفاظ بجميع السجلات.

أنصح بتجميع سجلات الشركات استنادًا إلى معرّف موثوق، مثل موقعها الإلكتروني، قبل توحيد أسمائها. فتشابه الأسماء وحده لا يثبت أن شركتين تمثلان الكيان التجاري نفسه. إبقاء الصفوف منفصلة يحافظ على معرّفاتها وتفاصيل مصادرها، لكن أي خطأ في التجميع قد يؤدي إلى نسخ اسم غير صحيح إليها.

ستتعلم في هذا الدليل كيفية توحيد قيم حقول محددة ضمن مجموعات السجلات المكررة، مع إبقاء كل سجل منفصلًا:

• ما المقصود بتوحيد البيانات؟
• استخدام AI Processing في Duplicates Finder
• كيفية توحيد بيانات السجلات المكررة خطوة بخطوة

ما المقصود بتوحيد البيانات؟

يعني توحيد البيانات، في هذا السياق، تحويلها إلى صيغة متسقة. فعند التعامل مع السجلات المكررة، تظهر الاختلافات غالبًا في حقول بعينها. على سبيل المثال:

• أسماء الشركات: "Tech Solutions Inc."، و"Tech Solutions, LLC"، و"Tech Solutions"
• المسميات الوظيفية: "Software Engineer"، و"Software Dev."، و"Eng., Software"
• العناوين: "123 Main St"، و"123 Main Street"، و"123 main st"
• الدول: "USA"، و"United States"، و"U.S.A."

يهدف التوحيد إلى اختيار قيمة قياسية واحدة، مثل "Tech Solutions" أو "United States"، وتطبيقها على الحقل المعني في جميع السجلات المصنفة على أنها مكررة.

بهذا تصبح بياناتك أنظف وأسهل في التحليل وأكثر موثوقية عند التصفية أو إعداد التقارير، حتى لو بقيت السجلات المكررة منفصلة. وهذه خطوة أساسية في تنظيف البيانات.

استخدام AI Processing في Duplicates Finder

تُعد أداة Duplicates Finder من Datablist أداة قوية بالفعل لاكتشاف السجلات المتشابهة. وإلى جانب خياراتها المتقدمة من أجل دمج السجلات المكررة تلقائيًا أو يدويًا، يمنحك وضع AI Processing مستوى إضافيًا من المرونة.

فبدلًا من الاعتماد على قواعد دمج محددة مسبقًا، يتيح لك AI Processing تحديد المنطق المطلوب باستخدام تعليمات مكتوبة بلغة طبيعية. ويمكنك إخبار AI بدقة بكيفية معالجة السجلات المكررة، بما في ذلك مهام مثل:

• اختيار سجل رئيسي وفق معايير محددة، مثل السجل الأحدث تحديثًا.
• دمج حقول معينة مع إبقاء الحقول الأخرى منفصلة.
• إجراء عمليات حسابية أثناء الدمج، مثل جمع القيم.
• 👉 والأهم في هذا الدليل: تحديث حقل محدد في جميع السجلات المكررة إلى قيمة موحّدة واحدة، من دون دمج السجلات.

وهكذا تتحول مهمة معالجة البيانات المعقدة، التي تتطلب عادة كتابة سكربت، إلى محادثة بسيطة مع AI لدينا.

كيفية توحيد بيانات السجلات المكررة خطوة بخطوة

لنتعرّف خطوة بخطوة على كيفية استخدام AI Processing لتوحيد حقل، مثل اسم الشركة، في السجلات المكررة.

الخطوة 1: تجهيز بياناتك

أولًا، عليك إضافة بياناتك إلى Datablist.

1. إنشاء Collection: انقر على زر "+" في الشريط الجانبي لإنشاء Collection جديدة.

2. استيراد البيانات: استورد بياناتك من ملف CSV أو Excel. إذا كانت البيانات موزعة على عدة ملفات، فاستوردها إلى Collection نفسها. سيرشدك Datablist إلى ربط الأعمدة بالخصائص المناسبة. تأكد من استيراد الحقل الذي تريد توحيده، مثل Company Name، والحقول التي ستستخدمها لاكتشاف السجلات المكررة، مثل Email أو Website، بصورة صحيحة.

في هذه البيانات التجريبية، يمكننا بالفعل ملاحظة بعض أسماء الشركات المكررة التي تحتاج إلى توحيد.

الخطوة 2: اكتشاف السجلات المكررة

حدّد الآن السجلات المكررة.

2أ. فتح Duplicates Finder

افتح Clean > Merge duplicates.

2ب. اختيار معرّفات اكتشاف التكرار

حدّد الخاصية، أو الخصائص، التي تتيح التعرّف بشكل فريد على السجل المكرر.

استخدم موقعًا إلكترونيًا مشتركًا أو معرّف شركة عندما يتوفر لديك أحدهما. وإذا لم تكن لديك سوى الأسماء، فاستخدم دليل مطابقة أسماء الشركات، وراجع كل مجموعة قبل توحيدها. فقد تعود الأسماء المتشابهة ذات اللواحق القانونية المختلفة إلى كيانات منفصلة.

بالنسبة إلى الشركات، يمكنك أيضًا استخدام Website URL أو LinkedIn Company Page URL.

وبالنسبة إلى جهات الاتصال، يُعد Email وPhone Number من الخيارات الشائعة.

2ج. إعداد خوارزمية المطابقة

في الخطوة التالية، اختر خوارزمية المطابقة.

غالبًا ما يكون خيار 'Smart' مناسبًا لعناوين URL أو رسائل البريد الإلكتروني، لأنه يتعامل مع الاختلافات البسيطة. أما 'Exact' فهو أكثر صرامة. ويمكنك أيضًا استخدام المطابقة الصوتية أو التقريبية للأسماء.

اختر Processor الملائم للحقل الذي تستخدمه لاكتشاف السجلات المكررة. استخدم Url لمعرّف الموقع الإلكتروني أو Email لمعرّف البريد الإلكتروني. واختر Company Name عند مطابقة صيغ أسماء الشركات المختلفة.

يغيّر Processor طريقة مقارنة القيم، لكنه لا يعدّل الخلايا المخزنة. يمكنك هنا التجميع حسب Website URL، ثم توحيد Company Name في خطوة AI اللاحقة. فمعرّف المطابقة والحقل الذي تريد تحديثه يؤديان وظيفتين مختلفتين.

2د. تشغيل فحص التكرار

انقر على Run duplicates check.

سيحلل Datablist بياناتك ويعرض مجموعات السجلات التي يُحتمل أن تكون مكررة.

الخطوة 3: اختيار وضع AI Processing

اختر Custom with AI من صفحة نتائج السجلات المكررة. تُظهر لقطات الشاشة القديمة أدناه التسمية السابقة AI Editing. ينشئ هذا الوضع سكربت بالاعتماد على تعليماتك وعينة صغيرة من العناصر، ثم يعرض معاينة للتغييرات.

الخطوة 4: كتابة تعليمات التوحيد

في هذه المرحلة، تخبر AI بما ينبغي فعله. يجب أن تطلب منه:

1. تحديد القيمة الأكثر تكرارًا للخاصية المستهدفة داخل كل مجموعة من السجلات المكررة.
2. تحديث جميع سجلات المجموعة لاستخدام هذه القيمة الشائعة في الخاصية المحددة.
3. التصريح بوضوح بأنه يجب عدم حذف أي سجل.

في ما يلي نموذج تعليمات لتوحيد الخاصية /Company Name:

شرح عناصر التعليمات:

• وحّد الخاصية /CompanyName...: يحدد الحقل المستهدف. استخدم /PropertyName أو {{PropertyName}} للإشارة إلى أعمدتك.
• ...احسب القيم غير الفارغة باستخدام المطابقة النصية التامة.: يحدد كيفية اختيار القيمة القياسية. لا يمكن للقيم الفارغة أن تكون القيمة الفائزة، وتُترك المجموعة المتعادلة للمراجعة. ويمكنك أيضًا استخدام معايير أخرى، مثل "أطول قيمة" أو "أقصر قيمة"، أو الرجوع إلى حقل آخر، مثل "استخدم قيمة السجل الذي يحمل أحدث تاريخ في /UpdatedAt".
• تجاوز المجموعة إذا كانت جميع قيم /CompanyName متطابقة بالفعل.: تعليمات لتحسين الكفاءة وتجنب المعالجة غير الضرورية.
• لا تحذف أي سجل.: هذا شرط أساسي لضمان اقتصار العملية على تحديث الحقول، من دون دمج السجلات أو حذفها.

الخطوة 5: إنشاء السكربت ومعاينته

انقر على Generate and preview changes. سيفسّر AI في Datablist تعليماتك وينشئ سكربت لتنفيذ الإجراء.

لا تقلق، فلن تحتاج إلى كتابة أي سكربت أو تعديله.

• شرح السكربت: ملخص واضح باللغة الإنجليزية لما سيفعله السكربت. تحقق من توافقه مع هدفك.
• معاينة النتائج: جدول يوضح بدقة كيف سيعدّل السكربت عينة من مجموعات السجلات المكررة قبل تطبيق أي تغيير. افحص الحقل المستهدف، مثل /Company Name، في المعاينة للتأكد من أنه يعرض القيمة الموحدة المطلوبة في جميع السجلات المكررة ضمن العينة.

على سبيل المثال، يجب أن تحتفظ المجموعة التي تضم Acme Ltd وAcme Ltd وAcme Limited بثلاثة صفوف، تحمل جميعها القيمة Acme Ltd. أما المجموعة التي تضم قيمة واحدة Acme Ltd وقيمة واحدة Acme Limited، فيجب أن تبقى كما هي لأن أيًا منهما ليست أكثر تكرارًا. هذه أمثلة إرشادية لما ينبغي التحقق منه في المعاينة، وليست نتائج مقاسة.

تحقق من القيم وعدد الصفوف معًا. تأكد من ملء القيم الفارغة فقط عند وجود قيمة فائزة بوضوح، ومن بقاء المجموعات المتعادلة بلا تغيير، والحفاظ على معرّفات المصادر والخصائص غير المرتبطة بالعملية.

الخطوة 6: تشغيل السكربت

إذا كان الشرح والمعاينة صحيحين، فانقر على Run AI rules. سينفذ Datablist السكربت المُنشأ على جميع مجموعات السجلات المكررة التي جرى اكتشافها.

الخطوة 7: مراجعة التغييرات

بعد انتهاء السكربت، يعرض Datablist ملخصًا وChanges List قابلة للتنزيل.

يفيد ذلك عندما تحتاج إلى إعادة تطبيق التغييرات في نظام خارجي، مثل تعديل Leads في CRM.

عُد إلى العرض الرئيسي للـCollection. ستلاحظ أن الحقل المستهدف، مثل /CompanyName، أصبح متسقًا في سجلات كل مجموعة مكررة، مع بقاء السجلات نفسها منفصلة.

لقد نجحت في توحيد حقل ضمن السجلات المكررة من دون دمجها! 🚀

حالات استخدام التوحيد من دون دمج

متى يكون توحيد حقل خيارًا أفضل من الدمج الكامل؟

• توحيد أسماء الشركات أو جهات الاتصال: نظّف الصيغ المختلفة مثل "Example Ltd" و"Example Limited"، أو "Jon Doe" و"Jonathan Doe"، في السجلات المكررة قبل اتخاذ قرار بشأن استراتيجية الدمج النهائية.
• تنظيف المسميات الوظيفية: وحّد مسميات مثل "VP Marketing" و"Vice President Marketing" و"Marketing VP" للحصول على تقارير وتحليلات متسقة.
• توحيد المواقع الجغرافية: استخدم أسماء دول متسقة، مثل "UK" و"United Kingdom"، أو وحّد اختصارات المناطق، مثل "CA" و"California"، في سجلات العناوين المكررة.
• الاستعداد للاستيراد إلى CRM أو تحديثه: وحّد الحقول الأساسية قبل استيراد البيانات إلى CRM قد يفرض قواعد تحقق صارمة، حتى إذا كنت ستحتفظ بالسجلات المكررة مؤقتًا.
• تدقيق البيانات: احتفظ بالسجلات المكررة الأصلية لأغراض التدقيق أو التتبع التاريخي، مع توحيد المعرّفات الأساسية لتسهيل التحليل.
• التنظيف التدريجي: وحّد حقلًا واحدًا في كل مرة ضمن سير عمل أشمل لـتنظيف البيانات، قبل الالتزام بدمج السجلات أو حذفها بالكامل.

لماذا توحّد البيانات بدلًا من دمجها؟

• الحفاظ على تفاصيل كل سجل: تبقى السجلات المكررة منفصلة، وهو أمر قد يكون ضروريًا لتتبع المصادر أو التفاعلات المحددة أو البيانات التاريخية المرتبطة بكل سجل.
• التعامل مع حالات عدم اليقين: يفيد ذلك عندما لا تكون السجلات المكررة متطابقة تمامًا. فتوحيد حقل أساسي يضمن الاتساق من دون فرض دمج قد يكون خاطئًا لسجلات تختلف في بيانات أخرى.
• اتباع نهج مرحلي: يتيح عملية تنظيف بيانات أكثر تحكمًا. وحّد القيم أولًا، ثم راجع السجلات واتخذ قرار الدمج أو الحذف لاحقًا.
• البساطة: إنها عملية محددة الهدف؛ إذ توحّد حقلًا واحدًا من دون التأثير في بقية بيانات السجلات المكررة.

الخلاصة

ابدأ بمجموعة جرى التحقق منها، وحدد قاعدة اختيار القيمة، ثم افحص المعاينة. بعد تشغيل العملية، تأكد من عدم تغيّر عدد الصفوف، وراجع المجموعات التي تم تجاوزها بسبب تعادل القيم. بعد ذلك، يمكنك تصدير أسماء متسقة مع إبقاء كل سجل مصدر منفصلًا.

الأسئلة الشائعة

1. هل تتضمن باقتي في Datablist ميزة AI Processing؟ تتوفر AI Processing، بما في ذلك إنشاء سكربتات التوحيد وتشغيلها، ضمن باقات Datablist المدفوعة. راجع صفحة الأسعار للاطلاع على التفاصيل.

2. هل يمكنني توحيد عدة حقول باستخدام تعليمات واحدة؟ نعم، يمكنك كتابة تعليمات لتوحيد عدة حقول في الوقت نفسه. على سبيل المثال: "وحّد الخاصية /Company Name باستخدام القيمة الأكثر تكرارًا في كل مجموعة. وحّد الخاصية /Country باستخدام القيمة الأكثر تكرارًا في كل مجموعة. لا تحذف أي سجل."

3. ماذا أفعل إذا أساء AI فهم تعليماتي؟ راجع دائمًا شرح السكربت ونتائج المعاينة بعناية قبل تشغيله. إذا لم تكن المعاينة صحيحة، فأعد صياغة تعليماتك لتكون أوضح وأكثر تحديدًا، ثم أنشئ السكربت من جديد.

4. هل يمكنني التراجع عن التغييرات التي أجراها سكربت AI؟ تُطبّق التغييرات مباشرة بعد تشغيل السكربت. وعلى الرغم من أن Datablist يوفر ميزة التراجع عن الإجراءات الحديثة داخل الجلسة، فمن الأفضل دائمًا استنساخ الـCollection قبل إجراء تحويلات كبيرة على البيانات من هذا النوع، حتى تتمكن من العودة إلى النسخة السابقة عند الحاجة.

5. ما الفرق بين هذه الطريقة وخيار الدمج القياسي "Combine conflicting properties"؟ يعمل خيار "Combine" القياسي على دمج السجلات المكررة في سجل رئيسي واحد، ويجمع القيم النصية المتعارضة في حقل واحد. أما AI Processing، عند تزويده بالتعليمات المناسبة، فيقوم بتحديث الحقل في جميع السجلات المكررة إلى قيمة واحدة مختارة، مع إبقاء جميع السجلات منفصلة. ولن يدمج السجلات أو يجمع القيم إلا إذا طلبت منه ذلك صراحةً.