Additionner les valeurs lors de la fusion de doublons

Pour fusionner des doublons et additionner des valeurs numériques, regroupez les lignes à l’aide d’un identifiant stable comme le SKU, choisissez l’enregistrement à conserver, puis additionnez les valeurs numériques de tous les éléments du groupe. Le Duplicates Finder de Datablist vous permet de décrire ces règles, de prévisualiser le script généré, puis de l’appliquer.

Commencez par vérifier ce que représente chaque ligne. Additionnez des contributions distinctes, comme les stocks de différents entrepôts. Si deux lignes proviennent d’exports répétés du même niveau de stock, les additionner compterait l’inventaire deux fois. Dans ce cas, conservez plutôt l’instantané le plus récent.

Par exemple, trois lignes correspondant au SKU A-100, avec des stocks de 12, 8 et 5 répartis dans trois entrepôts différents, doivent produire une seule ligne avec un stock de 25. Tenez compte des identifiants d’entrepôt ou de transaction pour vérifier qu’une contribution n’a pas déjà été comptabilisée.

Ce guide détaille chaque étape pour additionner des valeurs numériques lors de la fusion de doublons :

• Préparer vos données
• Comment trouver les doublons
• Comment additionner les valeurs lors de la fusion

Préparer vos données

Avant de pouvoir fusionner les doublons et additionner leurs valeurs, vous devez importer vos données dans Datablist. Commençons par créer une collection et importer votre fichier.

Étape 1 : Créer une collection

Dans Datablist, les collections servent à organiser vos données. Voyez-les comme des feuilles de calcul intelligentes. Pour en créer une, cliquez sur le bouton « + » dans la barre latérale ou sur le raccourci « Start with a CSV/Excel file » depuis l’écran d’accueil.

Étape 2 : Importer votre fichier

Vous pouvez importer des données depuis différentes sources. Pour cet exemple, utilisons un fichier CSV ou Excel. Cliquez sur « Import CSV/Excel », puis chargez votre fichier.

Datablist prend en charge les fichiers volumineux, même s’ils contiennent plusieurs centaines de milliers de lignes.

Datablist détecte automatiquement le type de chaque colonne, comme Text, Number, Date ou Email.

⚠️ Important : vérifiez que la colonne à additionner, par exemple /Stock, est bien identifiée comme étant de type Number. Dans le cas contraire, vous pouvez modifier son type manuellement pendant l’import.

Étape 3 : Vérifier les données importées

Une fois l’import terminé, parcourez rapidement votre collection pour vérifier que tout est correct. Vos lignes et vos colonnes doivent être visibles et prêtes à être nettoyées.

Comment trouver les doublons

Maintenant que vos données sont chargées, passons à la détection des doublons.

Étape 4 : Lancer Duplicates Finder

Ouvrez Clean > Merge duplicates.

Étape 5 : Sélectionner vos identifiants de déduplication

Vous devez indiquer à Datablist comment reconnaître les éléments en double.

Choisissez la propriété qui identifie de manière unique un élément de votre liste. Il peut s’agir d’une adresse Email, d’un Product SKU, d’un Company Name ou d’une combinaison de plusieurs champs.

Dans cet exemple de gestion des stocks, utilisez le SKU pour regrouper les lignes d’un même produit. Le nom du produit seul peut correspondre à plusieurs tailles ou variantes : ne l’utilisez qu’après avoir vérifié ces différences.

Étape 6 : Choisir l’algorithme de correspondance et le Processor

Sélectionnez ensuite l’algorithme de comparaison.

Pour un SKU produit, commencez par Exact afin que les identifiants différents restent séparés. Pour les champs contenant des emails ou des URL, Smart peut normaliser les variations grâce au Processor adapté. Vérifiez ces réglages avant de valider une correspondance.

Vous pouvez également choisir un « Processor » afin de normaliser les données avant la comparaison, par exemple pour nettoyer des adresses email ou des URL.

Cliquez sur Run duplicates check.

Étape 7 : Prévisualiser les groupes de doublons

Datablist analyse vos données et affiche des groupes de doublons potentiels. Examinez-les pour confirmer qu’il s’agit bien de doublons avant de passer à la fusion.

Additionner les valeurs avec AI Processing

Sélectionnez Custom with AI pour générer des règles applicables à chaque groupe de doublons. Le générateur ne voit qu’un petit échantillon de vos éléments : précisez donc le traitement attendu pour les nombres manquants, les dates invalides et les égalités, sans supposer qu’il détectera seul tous les cas possibles.

Étape 8 : Sélectionner le mode AI Processing

Sur la page des résultats de la recherche de doublons, sélectionnez Custom with AI. Les anciennes captures d’écran ci-dessous affichent encore le précédent libellé AI Editing.

Ce mode vous permet de définir une logique de fusion personnalisée à l’aide d’instructions en langage naturel.

Étape 9 : Rédiger votre prompt pour l’AI

C’est le cœur du processus. Vous allez rédiger un prompt expliquant à Datablist comment fusionner chaque groupe de doublons.

Votre prompt doit comporter deux éléments essentiels :

1. Sélection de l’enregistrement principal : indiquez à l’AI comment choisir l’enregistrement principal, ou « master », qui sera conservé après la fusion. Vous pouvez utiliser des critères comme « l’enregistrement dont la date dans /Property est la plus récente », « l’enregistrement le plus complet » ou « l’enregistrement créé en premier ».
2. Addition des valeurs : demandez à l’AI d’additionner les valeurs d’un champ numérique donné pour tous les enregistrements du groupe, y compris le master, puis d’inscrire le total dans ce même champ sur l’enregistrement master.

Utilisez /PropertyName ou {{PropertyName}} pour faire référence aux colonnes de votre collection.

Voici un exemple de prompt permettant d’additionner la propriété /Stock tout en choisissant le master selon la date la plus récente dans /Date :

Ce prompt conserve volontairement les autres valeurs de l’enregistrement choisi. Si les autres lignes contiennent des notes ou des identifiants utiles, précisez comment préserver ces champs avant de les supprimer. Pour conserver toutes les lignes, consultez le guide consacré à la normalisation des valeurs dupliquées sans fusion.

La règle appliquée à Stock distingue une cellule vide d’un texte invalide. Elle comptabilise également une seule fois l’enregistrement conservé, ce qui évite une erreur fréquente : omettre sa valeur ou l’ajouter deux fois.

Étape 10 : Vérifier le prompt et générer le script

Relisez votre prompt. Vérifiez que les noms des colonnes, comme /Date et /Stock, sont correctement référencés. Lorsque tout vous convient, cliquez sur Generate and preview changes.

Vérifier et exécuter le script AI

L’AI de Datablist n’exécute pas votre demande à l’aveugle. Elle commence par générer un script JavaScript à partir de votre prompt, puis vous en présente un aperçu.

Étape 11 : Attendre la fin du traitement

L’AI prend quelques instants pour interpréter votre prompt et rédiger le script correspondant.

Étape 12 : Vérifier l’explication du script

Datablist vous présente une explication du fonctionnement du script généré. Vérifiez que le système AI a bien compris votre intention.

Étape 13 : Contrôler l’aperçu des résultats

Plus important encore, Datablist vous montre comment le script modifiera vos données avant son exécution.

Examinez l’aperçu et contrôlez au moins un groupe en additionnant vous-même ses valeurs. Vérifiez également un champ vide, un zéro, un nombre invalide et deux dates identiques. Les groupes ignorés selon vos règles doivent rester inchangés.

L’aperçu affiche l’état proposé de l’enregistrement master après la fusion et l’addition. Vérifiez que le champ numérique, par exemple /Stock, contient bien la somme des valeurs de tous les éléments du groupe.

Étape 14 : Examiner un aperçu avec l’élément master

Voici une vue plus détaillée de l’aperçu pour un groupe donné. Comme demandé dans notre prompt, l’enregistrement master est bien celui dont la date est la plus récente.

Étape 15 : Exécuter le script

Si l’aperçu est correct et que les sommes correspondent à vos attentes, cliquez sur Run AI rules. Datablist applique alors la logique de fusion et d’addition à tous les groupes de doublons identifiés dans votre collection.

Étape 16 : Vérifier les résultats

Une fois le script exécuté, vos doublons sont fusionnés conformément à vos instructions.

Revenez à la vue principale de votre collection. Chaque groupe accepté doit désormais comporter un seul enregistrement avec la valeur additionnée. Les groupes ignorés selon vos règles doivent rester inchangés.

Contrôlez la colonne additionnée, par exemple /Stock. Elle doit maintenant contenir les totaux agrégés des éléments auparavant présents en double.

Comparez le stock total avant et après le traitement des groupes acceptés. Le total doit rester identique lorsque vous consolidez des contributions distinctes. Vérifiez séparément les groupes ignorés avant d’exporter vos données.

Vous avez utilisé AI Processing pour fusionner vos doublons, mais aussi pour effectuer des calculs comme une addition pendant l’opération. Vous gagnez ainsi un temps précieux tout en préservant la fiabilité de vos données.

Cas d’usage

Cette fonctionnalité d’addition assistée par AI s’adapte à de nombreux scénarios :

• Gestion des stocks : vous importez des listes de produits provenant de plusieurs fournisseurs ou entrepôts, ce qui crée plusieurs entrées pour un même produit. Utilisez AI Processing pour fusionner ces entrées, conserver comme master l’enregistrement dont la date de mise à jour est la plus récente et additionner les valeurs /QuantityOnHand de tous les doublons afin d’obtenir un stock total fiable.
• Consolidation des données commerciales : des données de vente issues de différentes régions ou plateformes génèrent plusieurs enregistrements pour un même client ou une même vente sur une période donnée. Fusionnez ces doublons à partir de CustomerID et ProductID, conservez l’enregistrement dont la SaleDate est la plus ancienne, puis additionnez les champs /UnitsSold et /Revenue pour obtenir des chiffres consolidés.
• Agrégation de données financières : ajoutez des transactions distinctes aux totaux par catégorie uniquement après avoir vérifié leurs identifiants. Deux relevés peuvent contenir la même transaction : supprimez les copies avant d’effectuer la somme et séparez les devises différentes.
• Gestion de projet : regroupez les saisies de tâches relatives à une même étape de projet, issues des mises à jour de plusieurs membres de l’équipe. Fusionnez-les à partir de ProjectID et MilestoneName, conservez l’enregistrement dont la StatusUpdateDate est la plus récente, puis additionnez le champ /HoursLogged pour mesurer l’effort total.
• Fusion de commandes e-commerce : regroupez plusieurs lignes correspondant au même produit dans une commande client lorsqu’elles ont été saisies séparément. Dédupliquez-les à partir de OrderID et ProductID, conservez une seule ligne, puis additionnez les champs /Quantity et /ItemTotal.

FAQ

Q1 : Que faire si ma colonne numérique n’est pas reconnue comme étant de type « Number » ? Pendant l’import, vérifiez que la colonne est définie avec le type Number. Si elle a déjà été importée comme Text, utilisez l’outil « Convert Text to... » dans le menu « Clean » pour la convertir en Number avant de lancer Duplicates Finder. La fonction d’addition de l’AI exige un champ de type numérique.

Q2 : Puis-je additionner plusieurs colonnes numériques dans un même prompt ? Oui ! Vous pouvez enrichir le prompt avec des instructions d’addition pour plusieurs champs. Par exemple :

Reprenez le prompt ci-dessus et ajoutez une règle pour additionner /SalesCount, avec le même traitement des valeurs vides et invalides. Précisez quels champs doivent rester inchangés sur l’enregistrement conservé. Vérifiez les deux totaux dans l’aperçu.

Q3 : Que se passe-t-il si certains enregistrements ont une valeur vide dans la colonne numérique ? Le script généré suit les règles que vous avez définies. Le prompt ci-dessus considère les cellules vides comme égales à zéro et ignore les groupes qui contiennent une valeur de stock non vide et non numérique. Vérifiez ce comportement dans l’aperçu avant l’exécution : une valeur invalide ne doit pas être silencieusement convertie en zéro.

Q4 : L’AI peut-elle effectuer d’autres calculs qu’une addition ? Oui, AI Processing est très flexible. L’addition est un cas d’usage fréquent, mais vous pouvez aussi lui demander de calculer une moyenne, de rechercher une valeur maximale ou minimale, voire d’effectuer des calculs reposant sur plusieurs champs. Le prompt sera toutefois plus complexe.

Q5 : AI Processing coûte-t-il plus cher qu’une fusion standard ? « AI Processing » est inclus de manière illimitée dans toutes les offres payantes.

Q6 : Que faire si l’AI ne comprend pas correctement mon prompt ? Vérifiez toujours soigneusement l’aperçu avant d’exécuter le script. Si le résultat ne correspond pas à vos attentes, affinez votre prompt. Soyez plus précis, vérifiez le nom des colonnes et indiquez clairement les critères de sélection de l’enregistrement master ainsi que les règles d’addition. Si nécessaire, décomposez une logique complexe en étapes plus simples. Vous pouvez générer le script plusieurs fois, jusqu’à obtenir un aperçu correct.