Uniformiser les doublons sans fusionner les lignes

Pour uniformiser les valeurs d’un champ sans fusionner les lignes, identifiez les fiches correspondant à une même entité, choisissez la valeur à conserver dans le champ cible, puis appliquez-la à tout le groupe. Dans Datablist, utilisez Custom with AI dans Duplicates Finder et précisez clairement que chaque fiche doit être conservée.

Je vous conseille de regrouper les entreprises à partir d’un identifiant fiable, comme leur site web, avant de standardiser leur nom. Une simple ressemblance entre deux noms ne suffit pas à prouver qu’il s’agit de la même entreprise. En conservant des lignes distinctes, vous préservez leurs identifiants et leurs données sources. Attention toutefois : un mauvais regroupement peut propager un nom erroné à toutes les fiches concernées.

Dans ce guide, vous apprendrez à normaliser les valeurs de certains champs au sein de groupes de doublons, tout en conservant chaque fiche :

• Qu’est-ce que la normalisation des données ?
• Le traitement par IA dans Duplicates Finder
• Comment normaliser les données des doublons, étape par étape

Qu’est-ce que la normalisation des données ?

Dans ce contexte, la normalisation des données consiste à leur appliquer un format cohérent. Lorsque vous traitez des doublons, certains champs présentent souvent des variations. Par exemple :

• Noms d’entreprise : « Tech Solutions Inc. », « Tech Solutions, LLC », « Tech Solutions »
• Intitulés de poste : « Software Engineer », « Software Dev. », « Eng., Software »
• Adresses : « 123 Main St », « 123 Main Street », « 123 main st »
• Pays : « France », « FR », « FRA »

L’objectif est de choisir une valeur standard unique, comme « Tech Solutions » ou « France », puis de l’appliquer au champ concerné dans toutes les fiches identifiées comme des doublons.

Vos données deviennent ainsi plus propres, plus simples à analyser et plus fiables pour vos filtres ou vos rapports, même si les fiches en double restent distinctes. Il s’agit d’une étape essentielle du nettoyage des données.

Le traitement par IA dans Duplicates Finder

Le Duplicates Finder de Datablist est déjà un outil puissant pour repérer les fiches similaires. En plus de ses options avancées pour fusionner automatiquement ou manuellement les doublons, le mode AI Processing offre davantage de souplesse.

Au lieu d’utiliser des règles de fusion prédéfinies, AI Processing vous permet de définir votre propre logique à l’aide d’un prompt en langage naturel. Vous indiquez précisément à l’IA comment traiter les doublons. Vous pouvez notamment :

• Sélectionner une fiche principale selon des critères précis, par exemple la date de mise à jour la plus récente.
• Fusionner certains champs tout en laissant les autres séparés.
• Effectuer des calculs pendant la fusion, comme additionner des valeurs.
• 👉 Et surtout, dans le cadre de ce guide : remplacer un champ précis dans tous les doublons par une valeur normalisée unique, sans fusionner les fiches.

Une manipulation de données qui nécessiterait normalement un script devient ainsi une simple conversation avec notre IA.

Comment normaliser les données des doublons, étape par étape

Voyons comment utiliser AI Processing pour normaliser un champ, par exemple le nom de l’entreprise, dans plusieurs fiches en double.

Étape 1 : préparez vos données

Commencez par importer vos données dans Datablist.

1. Créez une collection : cliquez sur le bouton « + » dans la barre latérale pour créer une collection.

2. Importez les données : importez vos données depuis un fichier CSV ou Excel. Si elles proviennent de plusieurs fichiers, ajoutez-les à la même collection. Datablist vous aidera à associer les colonnes aux propriétés. Vérifiez que le champ à normaliser, par exemple Company Name, et les champs utilisés pour identifier les doublons, comme Email ou Website, sont correctement importés.

Dans cet exemple, certains noms d’entreprise en double doivent déjà être normalisés.

Étape 2 : recherchez les doublons

Identifiez maintenant les fiches en double.

Étape 2.a : ouvrez Duplicates Finder

Ouvrez Clean > Merge duplicates.

Étape 2.b : choisissez les identifiants de déduplication

Sélectionnez la ou les propriétés permettant d’identifier un doublon de manière fiable.

Utilisez le même site web ou un identifiant d’entreprise commun lorsque vous en disposez. Si vous n’avez que les noms, consultez le guide de rapprochement des noms d’entreprise et vérifiez chaque groupe avant de le normaliser. Des noms proches ou des suffixes juridiques différents peuvent correspondre à des entités distinctes.

Pour les entreprises, vous pouvez également utiliser Website URL ou LinkedIn Company Page URL.

Pour les contacts, Email ou Phone Number sont des choix courants.

Étape 2.c : configurez l’algorithme

À l’étape suivante, choisissez l’algorithme de rapprochement.

« Smart » fonctionne généralement bien pour les URL et les adresses e-mail, car il gère les variations mineures. « Exact » applique des critères plus stricts. Pour les noms, vous pouvez aussi utiliser un rapprochement phonétique ou approximatif.

Sélectionnez également le Processor adapté à vos données.

Ici, je choisis le Processor Company Name afin de gérer certaines variantes de noms d’entreprise, comme les suffixes juridiques ou les termes géographiques.

Étape 2.d : lancez la vérification

Cliquez sur Run duplicates check.

Datablist analysera vos données et affichera les groupes de doublons potentiels.

Étape 3 : sélectionnez le mode AI Processing

Sélectionnez Custom with AI sur la page des résultats. Les anciennes captures d’écran ci-dessous affichent encore le précédent libellé AI Editing. Ce mode génère un script à partir de vos instructions et d’un petit échantillon de fiches, puis affiche un aperçu des modifications.

Étape 4 : rédigez le prompt de normalisation

C’est ici que vous indiquez à l’IA ce qu’elle doit faire. Demandez-lui de :

1. Identifier la valeur la plus fréquente du champ cible dans chaque groupe de doublons.
2. Remplacer ce champ dans toutes les fiches du groupe par cette valeur commune.
3. Préciser explicitement qu’aucune fiche ne doit être supprimée.

Voici un exemple de prompt pour normaliser la propriété /Company Name :

Décryptage du prompt :

• Normalisez la propriété /CompanyName... : indique le champ cible. Utilisez /PropertyName ou {{PropertyName}} pour faire référence à vos colonnes.
• ...comptez les valeurs non vides en recherchant des correspondances textuelles exactes. : définit la méthode de sélection de la valeur standard. Une valeur vide ne peut pas l’emporter et les groupes à égalité sont laissés de côté pour vérification. Vous pourriez aussi choisir d’autres critères, comme « la valeur la plus longue », « la valeur la plus courte », ou vous appuyer sur un autre champ, par exemple « utilisez la valeur de la fiche dont la date /UpdatedAt est la plus récente ».
• Ignorez le groupe si toutes les valeurs /CompanyName sont déjà identiques. : évite les traitements inutiles.
• Ne supprimez aucune fiche. : cette consigne est essentielle pour mettre à jour uniquement les champs, sans fusionner ni supprimer de fiche.

Étape 5 : générez le script et vérifiez l’aperçu

Cliquez sur Generate and preview changes. L’IA de Datablist interprétera votre prompt et générera le script nécessaire.

Rassurez-vous, vous n’avez aucun script à écrire ou à modifier.

• Script Explanation : un résumé en langage clair des actions qui seront exécutées. Vérifiez qu’il correspond bien à votre objectif.
• Result Preview : un tableau montrant exactement comment le script modifiera un échantillon de groupes de doublons, avant l’application des changements. Contrôlez le champ cible, par exemple /Company Name, afin de vérifier que la valeur normalisée attendue est bien appliquée à tous les doublons de l’échantillon.

Par exemple, un groupe contenant Acme Ltd, Acme Ltd et Acme Limited doit conserver trois lignes, toutes renseignées avec Acme Ltd. Un groupe contenant une fois Acme Ltd et une fois Acme Limited doit rester inchangé, puisqu’aucune valeur n’est plus fréquente que l’autre. Il s’agit de points de contrôle pour votre aperçu, et non de résultats mesurés.

Vérifiez à la fois les valeurs et le nombre de lignes. Confirmez que les champs vides ne sont remplis que lorsqu’une valeur arrive clairement en tête, que les groupes à égalité restent inchangés et que les identifiants sources ainsi que les propriétés sans rapport sont préservés.

Étape 6 : exécutez le script

Si l’explication et l’aperçu vous conviennent, cliquez sur Run AI rules. Datablist exécutera le script généré sur tous les groupes de doublons identifiés.

Étape 7 : vérifiez les modifications

Une fois le script terminé, Datablist affiche un récapitulatif et vous permet de télécharger une Changes List.

Cette liste est utile lorsque vous devez répercuter les modifications dans un système externe, par exemple pour modifier des leads dans votre CRM.

Revenez à la vue principale de votre collection. Le champ cible, par exemple /CompanyName, est désormais cohérent dans toutes les fiches des groupes de doublons, tandis que les fiches elles-mêmes restent distinctes.

Vous avez réussi à normaliser un champ dans plusieurs doublons sans les fusionner ! 🚀

Cas d’usage de la normalisation sans fusion

Dans quels cas vaut-il mieux normaliser un champ plutôt que procéder à une fusion complète ?

• Standardiser les noms d’entreprise ou de contact : harmonisez des variantes comme « Exemple SARL », « Exemple S.A.R.L. », ou « Jean Dupont », « J. Dupont » avant de choisir votre stratégie de fusion définitive.
• Nettoyer les intitulés de poste : uniformisez des intitulés comme « VP Marketing », « Vice-président Marketing » et « Directeur Marketing » pour obtenir des analyses et des rapports cohérents.
• Normaliser les localisations : utilisez des noms de pays cohérents, comme « FR », « France », ainsi que des noms ou abréviations de régions uniformes dans les adresses en double.
• Préparer un import ou une mise à jour CRM : standardisez les champs clés avant d’importer les données dans un CRM soumis à des règles de validation strictes, même si vous conservez temporairement les doublons.
• Auditer les données : gardez les fiches d’origine en double à des fins d’audit ou de suivi historique, tout en standardisant les identifiants clés pour faciliter l’analyse.
• Nettoyer progressivement les données : normalisez un champ à la fois dans le cadre d’un processus plus large de nettoyage des données, avant de procéder à une fusion ou à une suppression complète.

Pourquoi normaliser plutôt que fusionner ?

• Préserver la granularité des fiches : chaque doublon reste intact, ce qui peut être indispensable pour retracer son origine, certaines interactions ou les données historiques qui lui sont associées.
• Gérer les incertitudes : cette approche convient lorsque les doublons ne correspondent pas parfaitement. La normalisation d’un champ clé améliore la cohérence sans imposer une fusion potentiellement erronée entre des fiches dont d’autres données diffèrent.
• Procéder par étapes : vous gardez davantage de contrôle sur le nettoyage des données. Commencez par normaliser, puis vérifiez les résultats avant de décider ultérieurement si vous devez fusionner ou supprimer les fiches.
• Rester simple : l’action est ciblée. Vous harmonisez un seul champ sans affecter les autres données des fiches en double.

Conclusion

Commencez par un groupe vérifié, définissez la règle de sélection de la valeur, puis contrôlez l’aperçu. Après l’exécution, assurez-vous que le nombre de lignes n’a pas changé et examinez les groupes ignorés en raison d’une égalité. Vous pourrez ensuite exporter des noms cohérents tout en conservant chaque fiche source séparément.

FAQ

1. AI Processing est-il inclus dans mon abonnement Datablist ? AI Processing, y compris la génération et l’exécution de scripts de normalisation, est disponible avec les offres payantes de Datablist. Consultez notre page Tarifs pour en savoir plus.

2. Puis-je normaliser plusieurs champs avec un seul prompt ? Oui, vous pouvez rédiger un prompt qui normalise plusieurs champs simultanément. Par exemple : « Normalisez la propriété /Company Name à partir de la valeur la plus fréquente dans chaque groupe. Normalisez la propriété /Country à partir de la valeur la plus fréquente dans chaque groupe. Ne supprimez aucune fiche. »

3. Que faire si l’IA comprend mal mon prompt ? Vérifiez toujours attentivement l’explication du script et l’aperçu des résultats avant de lancer son exécution. Si l’aperçu ne correspond pas à vos attentes, reformulez votre prompt de manière plus claire et plus précise, puis générez de nouveau le script.

4. Puis-je annuler les modifications apportées par le script IA ? Une fois le script exécuté, les modifications sont appliquées directement. Datablist propose bien une fonction d’annulation pour les actions récentes effectuées au cours de la session, mais il reste recommandé de dupliquer votre collection avant toute transformation importante. Vous pourrez ainsi revenir en arrière si nécessaire.

5. Quelle différence avec l’option de fusion standard « Combine conflicting properties » ? L’option standard « Combine » fusionne les fiches en double dans une seule fiche principale et concatène les valeurs textuelles en conflit dans un même champ. Avec le bon prompt, AI Processing met à jour le champ de toutes les fiches en double avec une valeur unique, tout en conservant chaque fiche séparément. Les fiches ne sont ni fusionnées ni leurs valeurs concaténées, sauf si vous le demandez explicitement.