Comment additionner les valeurs numériques en fusionnant des doublons

Les doublons dans vos données, c’est la galère. Vous exportez votre CRM ou récupérez des listes produits de différents fournisseurs, et paf : les mêmes articles sont listés plusieurs fois. Nettoyer, oui, mais supprimer les doublons n’est pas suffisant. Que faire si certaines lignes contiennent des quantités de stock ou des montants de vente ? Pas question de les perdre. Il faut fusionner ET additionner.

C’est là que Datablist et son Duplicates Finder bouscule le game. Il fusionne les doublons et additionne vos chiffres, comme par magie.

Par exemple, fusionner plusieurs fiches produits en calculant automatiquement le stock total – tout ça en une simple instruction !

Ce guide détaille toutes les étapes pour additionner des valeurs numériques lors de la fusion de doublons :

• Préparer vos données
• Comment détecter les doublons
• Comment additionner les valeurs lors de la fusion avec l’IA

Préparer vos données

Avant de fusionner et d’additionner, il faut importer vos données dans Datablist. Commençons par créer une collection et importer votre fichier.

Étape 1 : Créez une collection

Sur Datablist, chaque collection est comme un tableau intelligent. Cliquez sur le bouton « + » dans la barre latérale ou sur « Démarrer depuis un fichier CSV/Excel » sur l’accueil pour en créer une nouvelle.

Étape 2 : Importez votre fichier

Vous pouvez importer depuis plusieurs sources, mais pour cet exemple utilisons un CSV ou Excel. Cliquez « Import CSV/Excel » et envoyez votre fichier.

Datablist gère aussi les gros fichiers, pas d’inquiétude même avec des centaines de milliers de lignes.

Datablist détecte automatiquement les types de colonnes (Texte, Nombre, Date, Email...)

⚠️ Important : Vérifiez que la colonne à additionner (par exemple /Stock) est bien reconnue comme type Number. Sinon, vous pouvez la corriger manuellement lors de l’import.

Étape 3 : Vérifiez vos données importées

À la fin de l’import, un rapide coup d’œil pour tout vérifier. Vos lignes et colonnes doivent s’afficher, prêtes pour le nettoyage.

Comment détecter les doublons

Maintenant que vos données sont chargées, trouvons les doublons.

Étape 4 : Lancez Duplicates Finder

Allez dans le menu « Clean » puis choisissez « Duplicates Finder ».

Étape 5 : Sélectionnez votre identifiant de déduplication

Indiquez à Datablist sur quoi repérer les doublons :

Choisissez la propriété qui identifie vraiment chaque élément (Email, SKU produit, Nom entreprise… ou combinaison de champs).

Dans notre cas, prenons un Nom de produit ou un SKU pour repérer les produits en double.

Étape 6 : Choisissez l’algorithme de matching et le processor

Sélectionnez la méthode de comparaison :

Pour un identifiant comme le SKU ou l’email, l’option « Exact » ou « Smart » fonctionne très bien. L’algorithme « Smart » gère aussi les petites variantes (ordre de mots, protocoles d’URL…)

Vous pouvez aussi utiliser un processor pour normaliser les données avant la comparaison (ex : nettoyer les emails).

Cliquez sur « Run duplicates check ».

Étape 7 : Prévisualisez les groupes de doublons

Datablist analyse les données et affiche les groupes de doublons potentiels. Examinez-les pour vérifier qu’il s’agit bien de vrais doublons avant la fusion.

Comment additionner les valeurs lors de la fusion avec l’IA

C’est ici que la magie opère. Au lieu d’utiliser la fusion automatique classique, on va exploiter le mode « AI Processing » pour donner une instruction sur-mesure, y compris l’addition d’une colonne numérique.

Étape 8 : Passez en mode AI Processing

Depuis la page des résultats de doublons, cliquez sur « AI Editing ».

Ce mode vous permet d’écrire des consignes personnalisées en langage naturel.

Étape 9 : Rédigez votre prompt IA

Voici le cœur de la démarche. Rédigez une consigne précisant comment fusionner les groupes de doublons.

Deux points essentiels :

1. Choix du master record : Indiquez à l’IA comment choisir la fiche de référence à conserver. Ce peut être la fiche la plus récente (« latest date in /Property »), la plus complète ou la première créée.
2. Addition des valeurs : Demandez à l’IA d’additionner toutes les valeurs de la colonne numérique concernée au sein du groupe (y compris sur le master), et de reporter le total dans cette colonne du master.

Utilisez /NomDePropriete ou {{NomDePropriete}} pour faire référence aux colonnes.

Exemple d’instruction pour additionner le /Stock et prendre le master le plus récent selon /Date :

Select the record with the latest date in /Date as master record.
And sum all /Stock values from all records into the /Stock property of the master record.

Variante, en ajoutant la gestion d’autres propriétés :

Select the record with the latest date in /Date as master record.
And sum all /Stock values from all records into the /Stock property of the master record.
Merge other properties using the most frequent value.

Étape 10 : Validez et générez le script

Relisez votre prompt. Vérifiez les noms de colonnes (comme /Date et /Stock). Cliquez ensuite sur « Generate and preview changes ».

Revue et exécution du script AI

L’IA de Datablist ne fonce pas tête baissée. Elle commence par générer un script JavaScript qui correspond à votre consigne, et vous montre un aperçu.

Étape 11 : Patientez pendant le traitement

L’IA prend quelques secondes pour traduire le prompt en script.

Étape 12 : Relisez l’explication du script

Datablist vous explique ce que va faire le script généré. Vérifiez bien que l’IA a bien compris votre objectif.

Étape 13 : Vérifiez l’aperçu du résultat du script

Plus important encore : Datablist vous donne une prévisualisation de l’effet du script AVANT validation finale.

Dans la partie « Preview », visualisez la fiche qui sera conservée et modifiée. Vérifiez que la colonne /Stock affiche bien le total attendu après addition des membres du groupe.

Étape 14 : Exemple de master item

Zoomons sur un cas : on voit que la fiche conservée est bien celle avec la date la plus récente, comme demandé dans le prompt.

Étape 15 : Exécutez le script

Si tout est correct, cliquez sur « Run Script ». Datablist applique alors votre logique de fusion et d’addition à tous les groupes de doublons détectés.

Étape 16 : Vérifiez le résultat final

Une fois le script achevé, vos doublons sont fusionnés selon vos instructions.

Retournez sur la vue principale. Les doublons ont disparu, remplacés par les masters.

Contrôlez la colonne que vous avez additionnée (par ex /Stock). Vous obtenez pour chaque groupe de doublons la somme précédente, désormais correcte et consolidée ! 🚀

Bravo, vous avez utilisé la puissance d’AI Processing pour fusionner ET calculer en une seule opération, sans effort manuel !

Cas d'usage

La fonction d’addition par IA est ultra polyvalente. Quelques exemples :

• Gestion de stocks : Vous importez des listings de produits de plusieurs fournisseurs ou entrepôts. Avec les doublons, fusionnez et additionnez /QuantityOnHand pour avoir le vrai stock global.
• Consolidation de ventes : Les ventes arrivent de plusieurs plateformes ou régions : fusionnez les ventes en double par CustomerID et ProductID, prenez la fiche avec la première SaleDate, additionnez /UnitsSold et /Revenue pour les chiffres globaux.
• Agrégation financière : Fusionnez des écritures similaires de plusieurs comptes ou relevés, sur TransactionDescription et Date, gardez la description la plus détaillée, additionnez /Amount pour le suivi par catégorie.
• Gestion de projet : Plusieurs membres reportent du temps sur le même jalon de projet : fusionnez sur ProjectID et MilestoneName, conservez la fiche la plus récente (StatusUpdateDate), additionnez /HoursLogged pour le total d’effort.
• Commande e-commerce : Pour fusionner plusieurs lignes sur le même produit dans une commande client, dédoublonnez sur OrderID et ProductID, gardez une ligne, additionnez /Quantity et /ItemTotal.

FAQ

Q1 : Ma colonne numérique n’est pas reconnue comme « Number » ? Pendant l’import, mettez-la à jour en type Number. Sinon, utilisez l’outil "Convert Text to..." du menu "Clean" pour la transformer en Number avant le Duplicates Finder. Le calcul IA exige bien un champ numérique !

Q2 : Peut-on additionner plusieurs colonnes à la fois ? Oui, il suffit d’ajouter des instructions pour chaque champ numérique, par exemple :

Select the record with the latest date in /Date as master record.
Sum all /Stock values from all records into the /Stock property of the master record.
Sum all /SalesCount values from all records into the /SalesCount property of the master record.
Merge other properties using the most frequent value.

Q3 : Que fait l’IA si certaines valeurs numériques sont vides ? En général, elles sont traitées comme zéro par l’IA. L’addition ne se fait qu’avec les valeurs effectivement numériques.

Q4 : L’IA peut-elle effectuer d’autres calculs que la somme ? Oui, AI Processing est flexible : moyennes, minimum/maximum, ou calculs sur plusieurs champs peuvent être gérés, il suffit d’adapter l’instruction (prompt).

Q5 : Le mode AI Processing coûte-t-il plus cher ? Non, il est illimité dans tous les plans payants.

Q6 : Que faire si le prompt n’est pas bien compris ? Toujours bien relire la prévisualisation. Si le résultat ne correspond pas, reformulez ou détaillez davantage ! Nommez bien les colonnes, explicitez les critères de sélection du master et d’addition. Décomposez si besoin et régénérez plusieurs fois jusqu’à obtention d’un aperçu conforme.