Dédupliquer une liste sans perdre ses données

Pour dédupliquer une liste en ligne, commencez par choisir le champ qui identifie une personne, une entreprise ou un produit. Lancez une première recherche stricte, examinez les groupes de doublons proposés, puis fusionnez les valeurs utiles ou supprimez les lignes qui n’apportent rien. Vous accélérez ainsi le nettoyage sans considérer chaque valeur similaire comme une correspondance fiable.

Datablist réunit toutes ces étapes dans une même interface web. Importez un fichier CSV ou Excel, choisissez les propriétés à comparer, confrontez les lignes, vérifiez le résultat, puis exportez la liste nettoyée. La détection des doublons reste en lecture seule tant que vous ne lancez pas une action Remove, Merge ou un traitement personnalisé.

Ce guide s’appuie sur un fichier d’exemple téléchargeable de 1 000 lignes. Il contient des copies exactes, des alias d’email, des variantes de noms d’entreprise et d’URL, des différences simples de format téléphonique, des fautes d’orthographe, des valeurs contradictoires et des fiches complémentaires.

🔑 La règle d’or pour dédupliquer sans risque

Utilisez le plus petit identifiant fiable pour détecter les doublons, mais examinez la ligne complète avant de décider quelles données conserver.

Dédupliquer une liste simple de valeurs

Si votre liste contient une valeur par ligne, enregistrez-la dans un CSV à une colonne, avec un en-tête comme Email, Domain ou Value. Importez-la dans Datablist, puis lancez Clean > Remove duplicates sur cette colonne avec Exact. Examinez les groupes, choisissez la fiche à conserver, traitez les lignes en double, puis exportez les valeurs restantes.

Par exemple, une liste illustrative contenant alpha.example, beta.example et alpha.example doit conserver une valeur alpha et une valeur bêta après la suppression de la ligne répétée. Il s’agit d’un exemple d’entrée et de sortie, pas d’une mesure supplémentaire issue du fichier téléchargeable.

Cette méthode convient à une liste d’identifiants. Si votre fichier comporte plusieurs colonnes, vous devez résoudre des doublons de fiches : supprimer une ligne efface aussi toutes ses autres valeurs. Utilisez la fusion décrite plus bas lorsqu’un email répété est associé à un numéro de téléphone ou à une note utile sur une seconde ligne.

Traitez séparément les identifiants vides. Avec la comparaison par propriétés sélectionnées utilisée par défaut, l’absence d’un identifiant textuel ne suffit pas à établir une correspondance. Si vous devez supprimer les lignes vides, faites-le explicitement au lieu de laisser la déduplication décider ce qu’elles représentent.

Choisir ce qui rend chaque fiche unique

Ne commencez pas par l’algorithme de matching. Commencez par définir l’entité.

Un contact, une entreprise, un produit et une transaction ne reposent pas sur les mêmes identifiants :

Une seule passe détecte rarement tous les doublons. Un contact peut avoir le même email sur deux lignes, tandis qu’un autre a changé d’adresse email mais conservé son numéro de téléphone. Effectuez des passes distinctes pour chaque identifiant au lieu de créer une règle qui combine toutes les propriétés.

Par exemple :

1. Comparez les contacts par email.
2. Traitez les groupes après vérification.
3. Normalisez les numéros de téléphone, puis lancez une vérification Exact sur la propriété nettoyée.
4. Lancez une recherche fuzzy prudente sur le nom complet et l’entreprise.

Ajouter l’email, le téléphone, le nom et l’entreprise dans une seule vérification rend le matching plus strict. Une ligne doit satisfaire toute la configuration : une seule valeur manquante peut donc masquer un vrai doublon.

Consultez les guides dédiés lorsqu’un identifiant nécessite une normalisation particulière :

• Dédupliquer les adresses email et leurs alias
• Détecter les noms d’entreprise en double
• Dédupliquer un champ contenant plusieurs valeurs
• Normaliser les numéros de téléphone locaux et internationaux

Télécharger la liste d’exemple de 1 000 lignes

Téléchargez le CSV de démonstration. Il contient 1 000 lignes représentant 800 entités créées pour le test.

Le fichier réunit plusieurs cas :

Ces chiffres correspondent au jeu de référence conçu pour le test. Ils ne garantissent pas que chaque seuil fuzzy produira le même résultat. Avec un seuil faible, la comparaison par distance peut inclure des candidats supplémentaires. Vérifiez ces groupes avant tout traitement.

Voici trois paires extraites du fichier :

Les lignes présentent aussi des divergences sur des champs comme l’intitulé du poste, le propriétaire, le statut, le chiffre d’affaires, la source, les tags et les notes. Ces conflits rendent le fichier utile pour tester les règles de sélection de la fiche principale et de conservation des champs.

Importer la liste dans Datablist

Ouvrez Datablist et importez le fichier CSV ou Excel dans une collection. Une collection fonctionne comme une feuille de calcul structurée : les lignes sont des items et les colonnes des propriétés.

Vérifiez les types de propriétés détectés pendant l’import :

• Les colonnes d’emails doivent utiliser le type Email.
• Les colonnes de sites web doivent utiliser URL.
• Les colonnes de numéros de téléphone doivent utiliser Phone.
• Les colonnes de chiffre d’affaires ou de quantité doivent utiliser Number.
• Les dates d’activité et de création doivent utiliser DateTime.

Conservez dans la collection les colonnes d’identifiant, de source, de propriétaire, de notes et de statut. Elles vous aideront à choisir la bonne fiche et à vérifier les données préservées lors de la fusion.

Lancer les passes Exact, Smart et fuzzy

Ouvrez Clean et choisissez l’action adaptée à votre objectif :

• Remove duplicates si les lignes secondaires peuvent être supprimées.
• Merge duplicates si elles contiennent des informations à préserver.
• Match across collections si les fiches se trouvent dans plusieurs collections.

Les deux premières actions utilisent le même moteur de détection. Elles ouvrent l’espace de résultats avec un mode de traitement différent présélectionné.

Commencer par le matching Exact

Utilisez All Properties avec Exact pour repérer les lignes copiées à l’identique. Choisissez Selected Properties lorsqu’un champ, comme un identifiant externe, doit être strictement identique.

Sur l’échantillon de 1 000 lignes, cette passe renvoie cinq groupes de doublons. Chaque groupe contient deux lignes dont toutes les propriétés ont les mêmes valeurs.

Exact est la première passe la plus sûre, car chaque correspondance retenue satisfait une comparaison stricte. Elle ne détectera pas Acme Inc. et Acme, un numéro de téléphone formaté différemment ou un alias d’email si leurs valeurs enregistrées divergent.

Les visiteurs anonymes peuvent lancer une recherche Exact. La création d’un compte gratuit débloque la comparaison Smart et les autres fonctionnalités du plan Free.

Utiliser Smart pour les données d’entreprise

Le matching Smart standardise les valeurs pour les comparer sans modifier les cellules enregistrées. Sélectionnez le processeur adapté à la propriété :

• Email gère la casse, les espaces autour de la valeur, les alias avec un signe plus, les points Gmail, googlemail.com, les formats avec nom d’affichage et les valeurs mailto:.
• URL peut ignorer les protocoles et la barre oblique finale, avec des options pour les sous-domaines, les chemins et les paramètres de requête.
• Phone ignore les caractères de mise en forme. Il ne valide pas les numéros, n’utilise pas de propriété Country et ne déduit pas un indicatif pays manquant.
• Company Name supprime les termes juridiques, commerciaux et géographiques courants.
• Text ignore les accents, les espaces, la ponctuation, les symboles, la casse et l’ordre des mots.

Le processeur Company Name, le matching multivaleur et les algorithmes avancés nécessitent un plan payant. Exact et Smart sont disponibles pour le matching au sein d’une seule collection avec le plan Free, mais Smart nécessite un compte gratuit.

Lorsqu’une cellule contient plusieurs identifiants séparés par des points-virgules, activez Multiple Values. Datablist compare chaque élément et considère la propriété comme correspondante dès qu’une paire concorde. Par exemple, une cellule contenant primary@example.com;shared@example.com peut correspondre à une autre contenant shared@example.com.

Sur l’échantillon dédié de 200 lignes, cette configuration a renvoyé 60 groupes de deux lignes. La validation par rapport au jeu de référence a retrouvé les 60 paires prévues et exclu les 80 contrôles. Suivez le workflow de déduplication des champs multivaleurs pour accéder au fichier d’exemple, au CSV de résultats et aux choix de fusion.

Cette passe sur les emails a renvoyé 105 groupes de deux lignes : 100 paires prévues après normalisation des emails et les cinq paires de copies exactes, qui partagent également le même email.

Normaliser les numéros avant le matching

Le processeur Smart Phone est utile dans un cas précis : les valeurs composées des mêmes chiffres, mais utilisant des espaces, parenthèses, tirets ou symboles différents. Il peut faire correspondre (415) 555-0123 et 4155550123.

Il ne peut pas déterminer qu’un numéro local et un numéro international sont identiques. Par exemple, 06 12 34 50 08 et +33 6 12 34 50 08 nécessitent le contexte du pays avant d’être comparés.

Utilisez Phone Number Cleaner avant une déduplication par téléphone :

1. Mappez la propriété Phone brute.
2. Pour une liste limitée à un pays, sélectionnez celui-ci dans Local Phone Countries. Pour une liste internationale, activez Define country per item et mappez la propriété Country.
3. Enregistrez le résultat de l’enrichissement dans Clean Phone Number sans écraser la valeur brute.
4. Vérifiez les résultats vides ou en erreur. Ils ne doivent pas participer au matching par téléphone.
5. Lancez Duplicates Finder sur Clean Phone Number avec Exact.

Téléchargez l’échantillon dédié de 200 lignes. Il contient 50 paires local/international aux États-Unis, en France, au Royaume-Uni, en Allemagne et en Espagne, ainsi que 100 contrôles sans correspondance. La validation avec la logique de nettoyage en production a produit un numéro normalisé pour chacune des 200 lignes. Les 50 paires prévues convergent vers 50 valeurs internationales communes, tandis que les contrôles restent uniques.

Ce prétraitement valide également le format téléphonique. Conservez les propriétés Phone et Country d’origine à côté du résultat nettoyé afin d’examiner chaque fiche avant sa fusion. Consultez la définition de la normalisation des numéros de téléphone pour comprendre le rôle des indicatifs pays et des formats internationaux.

Pour les entreprises, effectuez une passe distincte sur Website. Choisissez Smart avec le processeur URL. Activez Ignore Subdomain, Ignore Path et Ignore Query Params uniquement si ces éléments d’URL ne doivent pas identifier une entreprise ou un établissement différent.

Sur le même échantillon de 1 000 lignes, cette configuration a renvoyé 200 groupes de deux lignes. Cinquante paires contiennent les variantes d’URL prévues, tandis que 150 partagent déjà un site web identique. Pour ce test, chaque paire exportée correspondait au même hôte normalisé.

Téléchargez les 200 groupes de doublons Website ou consultez le workflow de déduplication des entreprises pour adopter une stratégie fondée d’abord sur le domaine.

Utiliser le matching fuzzy ou phonétique avec contrôle

Metaphone compare la sonorité des textes. Jaro-Winkler et Levenshtein calculent un score de similarité afin de détecter des différences orthographiques comme Uma Turner et Uman Turner.

Les correspondances fuzzy sont des candidats, pas des doublons confirmés. Commencez avec un seuil élevé, examinez les groupes les moins fiables, puis réduisez le seuil de résultat uniquement si la précision reste satisfaisante.

Pour une passe fuzzy mesurée, sélectionnez Full Name, choisissez Distance avec Levenshtein, conservez le processeur Text et fixez le seuil à 90 %.

Cette vérification a renvoyé 77 groupes de deux lignes sur l’échantillon de 1 000 lignes. La validation a identifié 21 groupes reliant une même entité prévue et 56 reliant des entités différentes. La plupart des faux positifs étaient des noms abrégés comme G. Rossi, pour lesquels la valeur Full Name ne suffit pas à distinguer deux personnes.

La passe détecte des variantes orthographiques prévues comme Uma A. Turner et Uman A. Turner, mais montre aussi pourquoi les correspondances fuzzy fondées uniquement sur le nom doivent être vérifiées.

Téléchargez les 77 groupes Levenshtein exportés pour examiner les correspondances utiles et les faux positifs.

Pour le matching phonétique, sélectionnez Full Name, choisissez Metaphone et conservez le processeur Text.

Cette passe a affiché 69 groupes : 5 Ready et 64 Needs review. Les groupes exportés contiennent 188 lignes. Par rapport aux entités connues de l’échantillon, la validation a identifié 19 groupes ne contenant qu’une même entité et 50 groupes mêlant plusieurs personnes. Leur taille varie de deux à sept lignes.

Why matched confirme la propriété Full Name, l’algorithme Metaphone, le processeur Text et le score du groupe. Utilisez ces informations pour auditer la comparaison, pas pour remplacer une vérification d’identité.

Téléchargez les 69 groupes Metaphone exportés pour examiner les correspondances phonétiques utiles et les faux positifs. Les grands groupes de faux positifs associent souvent une initiale à un nom courant, comme plusieurs noms Rossi abrégés. Leurs codes phonétiques se chevauchent, mais les noms seuls ne fournissent pas assez de preuves pour une fusion automatique.

La page de résultats comporte deux réglages :

• Include matches from détermine les groupes affichés.
• Process automatically from maintient les groupes moins fiables dans Needs review et les exclut du traitement par lot.

Cette séparation permet d’examiner un large éventail de candidats sans appliquer la même règle d’automatisation à tous.

Examiner les groupes de doublons

L’espace de résultats répartit les groupes entre Ready et Needs review.

• Les groupes Ready disposent d’un résultat de traitement concret et atteignent le seuil de confiance automatique.
• Les groupes Needs review présentent une confiance plus faible, des conflits de fusion non résolus, une règle de sélection sans résultat ou une règle personnalisée qui les a ignorés.

Pour chaque groupe incertain, vérifiez :

• Toutes les lignes représentent-elles la même personne, entreprise ou le même produit ?
• Quel identifiant a provoqué la correspondance ?
• Certaines valeurs sont-elles complémentaires ?
• Quelle source fait autorité ?
• La suppression d’une ligne ferait-elle disparaître un téléphone, un identifiant, un statut, une date ou une note ?
• Le groupe est-il relié par une troisième fiche peu fiable ?

Utilisez Why matched pour examiner les propriétés, algorithmes, processeurs et plages de scores. Pour une recherche fuzzy, la similarité du groupe correspond à la connexion conservée la plus faible nécessaire pour maintenir le groupe.

Vous pouvez également :

• Confirmer une correspondance peu fiable.
• Retirer une fiche d’un groupe sans la supprimer.
• Ignorer le groupe.
• Ouvrir et modifier une fiche.
• Examiner le groupe dans Merging Assistant.
• Rechercher dans les groupes restants et afficher d’abord les candidats les plus risqués.

⚠️ Ne traitez pas un groupe fuzzy sur la seule base du pourcentage

Des noms similaires peuvent appartenir à des personnes différentes. Vérifiez les identifiants et les champs associés avant de confirmer le groupe.

Vérifier les identifiants partagés ou absents

Une boîte partagée comme info@company.example peut appartenir à plusieurs contacts. Deux personnes utilisant cette adresse peuvent correspondre sur Email tout en restant distinctes. De même, un domaine d’entreprise peut identifier une société tout en apparaissant dans de nombreuses fiches d’employés.

Écartez ces groupes de la fusion automatique au niveau des personnes tant qu’un autre identifiant ne confirme pas la correspondance. Si votre objectif est d’obtenir une ligne par entreprise, le domaine partagé peut au contraire être la clé de regroupement souhaitée. Définissez l’entité avant d’interpréter le résultat.

La règle appliquée aux valeurs vides modifie également une comparaison sur les propriétés sélectionnées. Pour une vérification multipropriété avec une comparaison autre qu’Exact, le réglage avancé Empty Value Rule propose Value required (default) ou Match on empty value. Le réglage par défaut exige la présence de l’identifiant textuel ; autoriser les correspondances sur des valeurs vides assouplit cette condition. N’utilisez cette option que si les autres champs comparés apportent suffisamment de preuves : deux emails absents ne prouvent pas que deux personnes sont identiques.

Par exemple, deux lignes dont le champ Email est vide et dont les valeurs Full Name diffèrent ne doivent pas être fusionnées simplement pour réduire le nombre de lignes. Une fiche sans email peut toujours contenir un contact à conserver ou à enrichir plus tard.

Supprimer, fusionner ou appliquer des règles sur mesure

Détecter les doublons et les résoudre sont deux décisions distinctes. Choisissez le mode de traitement après avoir vérifié le contenu des lignes secondaires.

Supprimer les doublons si une fiche fait autorité

Remove duplicates conserve une fiche sélectionnée sans la modifier et supprime les autres lignes de chaque groupe Ready.

Utilisez cette option pour les lignes copiées, les imports temporaires ou les fiches dont les valeurs secondaires peuvent être abandonnées. L’aperçu affiche un avertissement lorsque les fiches supprimées contiennent des informations supplémentaires ou contradictoires. Ces valeurs ne sont pas copiées dans la fiche conservée.

Fusionner les lignes qui contiennent des données utiles

Merge and preserve data complète les propriétés vides de la fiche sélectionnée, résout les conflits configurés, puis supprime les lignes secondaires.

Commencez par la règle Record to keep. Most Complete est sélectionnée par défaut. Les plans payants permettent d’utiliser des règles fondées sur la date de création ou de mise à jour, la valeur de propriété la plus élevée ou la plus faible, ou la présence obligatoire d’une valeur.

Déterminez ensuite comment conserver chaque propriété en conflit :

• Combinez les valeurs textuelles distinctes avec un séparateur.
• Conservez la valeur de la fiche sélectionnée.
• Avec un plan payant, choisissez les valeurs séparément selon des règles comme la plus récente, la plus ancienne, la plus longue, la plus courte, la plus élevée, la plus faible ou la plus fréquente.

Utilisez des règles par champ lorsqu’aucune ligne ne contient la meilleure valeur pour chaque propriété. Vous pouvez préserver l’identifiant de la fiche sélectionnée tout en récupérant un intitulé de poste plus récent, un nom d’entreprise plus long et le statut le plus fréquent dans les autres lignes.

Actualisez l’aperçu après toute modification du seuil, du workflow, de la composition des groupes, des paramètres de conflit ou de la règle de sélection.

Utiliser Custom with AI pour une logique sur mesure

Custom with AI génère un workflow de traitement des groupes à partir d’une consigne en langage naturel. Il peut sélectionner une fiche, copier ou normaliser des valeurs, ajouter une propriété de statut, calculer un total par groupe, supprimer les lignes secondaires ou ignorer les groupes qui ne remplissent pas une condition.

Par exemple :

Conservez la fiche dont la Source est CRM export. Copiez le Job Title de la fiche la plus récente, combinez les Notes distinctes avec des sauts de ligne, ajoutez une case Duplicate Reviewed, puis supprimez les fiches secondaires.

Référencez les propriétés de la collection avec /Property ou {{Property}}. Générez et prévisualisez le workflow avant de l’exécuter. Custom with AI est accessible aux utilisateurs authentifiés disposant d’un plan payant.

Pour les exceptions ponctuelles, ouvrez Review group et utilisez Merging Assistant plutôt que de complexifier la règle appliquée par lot.

Valider et exporter la liste nettoyée

Avant de traiter les groupes Ready, vérifiez que :

• L’aperçu correspond aux réglages actuels.
• Les groupes peu fiables et ceux reposant sur un identifiant partagé ont été examinés.
• La fiche sélectionnée possède l’identifiant à préserver.
• Les valeurs uniques de téléphone, source, note et statut sont conservées.
• Les champs n’acceptant qu’une seule valeur ne sont pas concaténés.
• Le nombre de groupes Ready affiché correspond au périmètre à traiter.

Après le traitement, rapprochez le nombre de lignes :

Lignes initiales - lignes secondaires supprimées = lignes finales

Pour la passe Exact de ce guide, Datablist a fusionné cinq groupes de deux lignes. La collection est donc passée de 1 000 à 995 items.

Téléchargez les groupes de doublons avant leur traitement si vous avez besoin d’un fichier de contrôle externe. Les plans payants incluent des identifiants de groupe exploitables et le journal des modifications après traitement. Celui-ci recense les identifiants Datablist supprimés ou mis à jour, avec les anciennes valeurs et les valeurs de destination.

Les suppressions et fusions automatiques apparaissent également dans l’History de la collection, où vous pouvez les annuler.

Revenez à la collection et ouvrez Export pour télécharger le fichier CSV ou Excel nettoyé.

Dédupliquer plusieurs listes

Utilisez le matching entre collections lorsqu’un nouveau fichier de leads doit être comparé à un export CRM. Considérez le CRM comme la liste de référence et supprimez ses correspondances du fichier entrant avant l’import.

Téléchargez le fichier CRM de démonstration et le fichier d’événements de démonstration pour tester ce workflow. Les deux fichiers utilisent des en-têtes différents et contiennent 100 chevauchements d’emails prévus. Chacun comporte initialement 250 lignes.

Importez chaque fichier dans sa propre collection, puis ouvrez Clean > Match across collections. Ajoutez les deux collections et mappez les propriétés correspondantes, par exemple Email avec Attendee Email.

Dans ce test, le matching Smart avec le processeur Email a renvoyé 100 groupes intercollections sur 500 fiches vérifiées. Sélectionnez Event Registrations dans Remove duplicate items from collection {X} pour ne pas modifier le CRM et supprimer ses correspondances de la liste de l’événement.

Le nettoyage automatique entre collections supprime des lignes. Il ne fusionne pas les valeurs propres à l’événement dans le CRM. Exportez ou examinez d’abord les groupes si les fiches entrantes contiennent des informations à préserver.

Après le traitement des 100 chevauchements, Event Registrations contient 150 nouveaux contacts nets.

Le matching entre collections est une fonctionnalité Premium. Consultez le guide détaillé pour dédupliquer plusieurs fichiers CSV ou Excel et découvrir les options de mapping et de traitement.

FAQ

Peut-on dédupliquer une liste gratuitement en ligne ?

Oui. Les visiteurs anonymes peuvent lancer une vérification Exact. Un compte gratuit débloque le matching Smart et les autres fonctionnalités du plan Free limitées à une seule collection. Les algorithmes fuzzy et phonétiques, les processeurs avancés, le matching entre collections, les règles de conservation configurables et Custom with AI nécessitent un plan payant.

Faut-il supprimer ou fusionner les lignes en double ?

Supprimez les lignes lorsqu’une fiche fait autorité et que les autres ne contiennent aucune donnée utile. Fusionnez-les lorsque les lignes secondaires comportent des valeurs à préserver. L’aperçu de Remove vous avertit si des données seraient perdues.

Datablist détecte-t-il les fautes d’orthographe ?

Oui. Jaro-Winkler et Levenshtein comparent la similarité des textes, tandis que Metaphone compare leur sonorité. Ces algorithmes avancés nécessitent un plan payant et leurs résultats doivent être vérifiés.

Peut-on fusionner des doublons sans perdre de données ?

Datablist peut compléter les champs vides, combiner des valeurs textuelles, conserver la valeur de la fiche sélectionnée ou appliquer des règles de conservation par champ. Vérifiez l’aperçu : toute valeur que vous choisissez d’écarter sera absente de la fiche fusionnée.

Quelle taille de liste peut-on traiter ?

Le plan Free accepte jusqu’à 1 million d’items par collection dans le stockage du navigateur. Les plans payants permettent d’importer jusqu’à 2 millions d’items par collection. Les opérations locales volumineuses restent tributaires du navigateur et de l’appareil.

Peut-on vérifier les doublons sans modifier la liste ?

Oui. La détection est en lecture seule. Vous pouvez examiner les groupes, ajuster les seuils, utiliser Why matched, rechercher et trier les résultats, puis télécharger les lignes en double avant de lancer une action de traitement.

Pour connaître tous les réglages et toutes les limites, consultez la documentation complète de Duplicate Finder.