Как суммировать числа при объединении дубликатов

Чтобы объединить дубликаты и суммировать числовые значения, сгруппируйте строки по стабильному идентификатору, например SKU, выберите запись, которую нужно сохранить, и сложите числовые значения всех записей в группе. В Duplicates Finder от Datablist можно описать эти правила, проверить сгенерированный скрипт в режиме предпросмотра, а затем применить его.

Сначала определите, что представляет собой каждая строка. Суммируйте отдельные составляющие — например, запасы на разных складах. Если две строки появились из-за повторного экспорта одного и того же остатка, сложение приведёт к двойному учёту. В таком случае сохраните последний снимок данных.

Чтобы отдельно проверить весь столбец, воспользуйтесь руководством по расчётам для числовых данных в CSV: оно поможет оценить итоговые значения и диапазоны до или после объединения. Эти расчёты обобщают данные, но не определяют, какие строки являются дубликатами.

Например, три строки для SKU A-100 с остатками 12, 8 и 5 на трёх разных складах должны превратиться в одну строку с остатком 25. При проверке учитывайте идентификаторы склада или транзакции, чтобы не посчитать одну и ту же составляющую дважды.

В этом руководстве пошагово разберём, как суммировать числовые значения при объединении дубликатов:

• Подготовка данных
• Как найти дубликаты
• Как суммировать значения при объединении дубликатов

Подготовка данных

Прежде чем объединять записи и суммировать значения, загрузите данные в Datablist. Начнём с создания коллекции и импорта файла.

Шаг 1. Создайте коллекцию

В Datablist коллекции используются для организации данных. Их можно представить как умные электронные таблицы. Чтобы создать коллекцию, нажмите кнопку «+» на боковой панели или выберите быстрый вариант «Start with a CSV/Excel file» на главном экране.

Шаг 2. Импортируйте файл

Данные можно импортировать из разных источников, но в этом примере используем файл CSV или Excel. Нажмите «Import CSV/Excel» и загрузите файл.

Datablist поддерживает большие файлы, поэтому сотни тысяч строк не станут проблемой.

Datablist автоматически определяет типы столбцов, например Text, Number, Date и Email.

⚠️ Важно: убедитесь, что столбец, значения которого нужно суммировать, например /Stock, правильно распознан как тип Number. При необходимости тип можно изменить вручную во время импорта.

Шаг 3. Проверьте импортированные данные

После завершения импорта быстро просмотрите коллекцию и убедитесь, что всё отображается корректно. Строки и столбцы должны быть готовы к очистке.

Как найти дубликаты

Теперь, когда данные загружены, найдём дубликаты.

Шаг 4. Запустите Duplicates Finder

Откройте Clean > Merge duplicates.

Шаг 5. Выберите идентификаторы для дедупликации

Укажите Datablist, по каким признакам определять дубликаты.

Выберите свойство, которое однозначно идентифицирует элемент списка. Это может быть адрес Email, Product SKU, Company Name или комбинация нескольких полей.

В примере с остатками используйте SKU, чтобы сгруппировать один и тот же товар. Одно название товара может совпадать у разных размеров или вариантов, поэтому используйте его только после проверки таких различий.

Шаг 6. Выберите алгоритм сопоставления и Processor

Затем выберите алгоритм сравнения.

Для SKU товара начните с Exact. Если регистр букв различает товары, включите Case sensitive. В противном случае A-100 и a-100 будут считаться совпадением, а их остатки могут быть сложены.

Для полей Email или URL режим Smart может нормализовать разные варианты с помощью соответствующего Processor. Проверьте эти настройки, прежде чем подтверждать совпадение. В описании Smart matching показано, что меняется на каждом этапе нормализации.

Также можно выбрать Processor для нормализации данных перед сравнением — например, для очистки адресов Email или URL.

Нажмите Run duplicates check.

Шаг 7. Проверьте группы дубликатов

Datablist проанализирует данные и покажет группы потенциальных дубликатов. Перед объединением просмотрите их и убедитесь, что записи действительно дублируются.

Суммирование значений с помощью AI

Выберите Custom with AI, чтобы сгенерировать правила для каждой группы дубликатов. Генератор видит лишь небольшую выборку записей, поэтому явно задайте правила для отсутствующих чисел, некорректных дат и одинаковых значений — не рассчитывайте, что он самостоятельно выявит все возможные случаи.

Шаг 8. Выберите режим AI Processing

На странице с результатами поиска дубликатов выберите Custom with AI. На более ранних скриншотах ниже этот режим обозначен прежним названием AI Editing.

В этом режиме можно описать собственную логику объединения обычным текстом.

Шаг 9. Составьте промпт для AI

Это ключевой этап процесса. Вам нужно составить промпт, объясняющий Datablist, как объединять группы дубликатов.

Промпт должен включать две основные части:

1. Выбор основной записи: объясните AI, как выбрать главную запись — «мастер», которая останется после объединения. В качестве критерия можно использовать «запись с самой поздней датой в /Property», «наиболее полную запись» или «запись, созданную первой».
2. Суммирование значений: поручите AI сложить значения определённого числового поля во всех записях группы, включая основную, и записать итог в то же поле основной записи.

Для обращения к столбцам коллекции используйте /PropertyName или {{PropertyName}}.

Ниже приведён пример промпта, который суммирует свойство /Stock, а основную запись выбирает по самой поздней дате в /Date:

Этот промпт намеренно оставляет прочие значения выбранной записи без изменений. Если в других строках есть полезные примечания или идентификаторы, до их удаления укажите, как сохранить соответствующие поля. Если нужно оставить все строки, изучите нормализацию значений дубликатов без объединения.

Правило для Stock отличает пустое значение от некорректного текста. Кроме того, значение сохраняемой записи учитывается ровно один раз — это помогает избежать распространённой ошибки, когда его пропускают или складывают дважды.

Шаг 10. Проверьте промпт и сгенерируйте скрипт

Перечитайте промпт. Убедитесь, что названия столбцов, например /Date и /Stock, указаны правильно. Когда всё будет готово, нажмите Generate and preview changes.

Проверка и запуск AI-скрипта

AI в Datablist не выполняет команду вслепую. Сначала он создаёт JavaScript-скрипт на основе промпта и показывает предварительный результат.

Шаг 11. Дождитесь завершения обработки

AI потребуется немного времени, чтобы интерпретировать промпт и написать соответствующий скрипт.

Шаг 12. Проверьте описание скрипта

Datablist покажет описание действий сгенерированного скрипта. Убедитесь, что AI правильно понял вашу задачу.

Шаг 13. Проверьте предварительный результат скрипта

Что ещё важнее, Datablist покажет, как скрипт изменит данные, до его запуска.

Изучите предпросмотр и вручную сложите значения хотя бы в одной группе. Также проверьте пустое значение, ноль, некорректное число и одинаковые даты. Группы, которые должны быть пропущены согласно правилам, должны остаться без изменений.

В предпросмотре будет показано предлагаемое состояние основной записи после объединения и суммирования. Убедитесь, что в числовом поле, например /Stock, указана правильная сумма значений всех записей из группы дубликатов.

Шаг 14. Изучите пример с основной записью

Рассмотрим предпросмотр отдельной группы подробнее. Как и предусмотрено промптом, основной стала запись с самой поздней датой.

Шаг 15. Запустите скрипт

Если предпросмотр выглядит правильно и суммы рассчитаны корректно, нажмите Run AI rules. Datablist применит правила объединения и суммирования ко всем найденным группам дубликатов в коллекции.

Шаг 16. Проверьте результат

После выполнения скрипта дубликаты будут объединены в соответствии с вашими инструкциями.

Вернитесь к основному представлению коллекции. В каждой принятой группе должна остаться одна запись с суммарным значением. Группы, пропущенные согласно правилам, должны остаться без изменений.

Проверьте столбец, значения которого вы суммировали, например /Stock. Теперь в нём должны находиться совокупные значения для записей, ранее являвшихся дубликатами.

Сравните общий остаток до и после обработки принятых групп. При объединении отдельных составляющих итоговая сумма должна остаться прежней. Перед экспортом отдельно проверьте пропущенные группы.

Вы успешно применили AI Processing, чтобы не только объединить дубликаты, но и выполнить расчёты — в данном случае суммирование. Это заметно сокращает объём ручной работы и помогает сохранить точность данных.

Варианты использования

Функция суммирования на базе AI подходит для самых разных задач. Вот несколько сценариев, в которых она особенно полезна:

• Управление запасами: вы импортируете списки товаров от нескольких поставщиков или складов, поэтому один товар встречается в нескольких записях. С помощью AI Processing можно объединить записи, выбрать в качестве основной строку с самой поздней датой обновления и сложить значения /QuantityOnHand всех дубликатов, чтобы получить точный общий остаток.
• Консолидация данных о продажах: данные поступают из разных регионов или платформ, создавая за один период дубликаты записей о продаже одному клиенту или одного товара. Объедините их по CustomerID и ProductID, выберите запись с самой ранней SaleDate и сложите поля /UnitsSold и /Revenue, чтобы получить консолидированные показатели продаж.
• Агрегация финансовых данных: добавляйте отдельные транзакции к итогам по категориям только после проверки их идентификаторов. Одна транзакция может присутствовать в двух выписках — удалите повторные копии перед суммированием и не объединяйте разные валюты.
• Управление проектами: объединяйте записи об одной и той же контрольной точке проекта, полученные из обновлений разных участников команды. Выполните объединение по ProjectID и MilestoneName, сохраните запись с самой поздней StatusUpdateDate и сложите значения /HoursLogged, чтобы оценить общие трудозатраты.
• Объединение заказов в e-commerce: объединяйте несколько отдельно внесённых позиций одного товара в рамках заказа клиента. Выполните дедупликацию по OrderID и ProductID, сохраните одну позицию и сложите поля /Quantity и /ItemTotal.

FAQ

Вопрос 1. Что делать, если числовой столбец не распознан как тип Number? Во время импорта убедитесь, что для столбца задан тип Number. Если он уже импортирован как Text, перед запуском Duplicates Finder воспользуйтесь инструментом «Convert Text to...» в меню «Clean», чтобы преобразовать его в Number. Для суммирования с помощью AI поле должно иметь числовой тип.

Вопрос 2. Можно ли суммировать несколько числовых столбцов в одном промпте? Да. Промпт можно дополнить инструкциями по суммированию нескольких полей. Например:

Возьмите приведённый выше промпт и добавьте правило для суммирования /SalesCount с таким же подходом к пустым и некорректным значениям. Укажите, какие поля сохраняемой записи должны остаться без изменений. Проверьте обе суммы в режиме предпросмотра.

Вопрос 3. Что произойдёт, если в числовом столбце некоторых записей есть пустые значения? Сгенерированный скрипт следует заданным вами правилам. В приведённом выше промпте пустые значения считаются нулевыми, а группы с непустыми нечисловыми значениями Stock пропускаются. Перед запуском проверьте такое поведение в предпросмотре: некорректную сумму нельзя без явного указания превращать в ноль.

Вопрос 4. Может ли AI выполнять другие расчёты, кроме суммирования? Да, AI Processing достаточно гибок. Суммирование — распространённый сценарий, но в промпте также можно задать вычисление среднего, поиск максимального или минимального значения и даже расчёты по нескольким полям. При этом сложность промпта возрастёт.

Вопрос 5. AI Processing стоит дороже стандартного объединения? AI Processing включён во все платные тарифы и доступен без ограничений.

Вопрос 6. Что делать, если AI неправильно понял промпт? Всегда внимательно проверяйте предпросмотр перед запуском скрипта. Если результат отличается от ожидаемого, уточните промпт. Формулируйте инструкции конкретнее, проверьте названия столбцов и ясно опишите критерии выбора основной записи и правила суммирования. При необходимости разбейте сложную логику на более простые этапы. Скрипт можно генерировать повторно, пока предпросмотр не станет корректным.