Как унифицировать значения дублей без объединения

Чтобы унифицировать значения полей без объединения строк, найдите записи, относящиеся к одной сущности, выберите единое значение целевого поля и скопируйте его во всю группу. В Datablist используйте Custom with AI в Duplicates Finder и явно укажите, что необходимо сохранить каждую запись.

Перед стандартизацией названий компаний рекомендуется группировать записи по надёжному идентификатору, например по сайту. Одного лишь сходства названий недостаточно, чтобы считать две компании одним и тем же бизнесом. Сохранение отдельных строк позволяет не потерять их ID и сведения об источниках, однако при ошибочной группировке в записи всё равно может попасть неверное название.

Из этого руководства вы узнаете, как нормализовать значения отдельных полей в группах дублей, сохранив все исходные записи:

• Что такое нормализация данных?
• AI Processing в Duplicates Finder
• Как нормализовать данные в дублях: пошаговая инструкция

Что такое нормализация данных?

В данном контексте нормализация данных означает приведение информации к единому формату. При работе с дублями в отдельных полях часто встречаются расхождения. Например:

• Названия компаний: «Tech Solutions Inc.», «Tech Solutions, LLC», «Tech Solutions»
• Должности: «Software Engineer», «Software Dev.», «Eng., Software»
• Адреса: «123 Main St», «123 Main Street», «123 main st»
• Страны: «USA», «United States», «U.S.A.»

Цель нормализации — выбрать единое стандартное значение (например, «Tech Solutions» или «United States») и применить его к соответствующему полю во всех записях, распознанных как дубли.

Так данные становятся чище, их проще анализировать, фильтровать и использовать в отчётах, даже если сами дубли остаются отдельными записями. Это один из ключевых этапов очистки данных.

AI Processing в Duplicates Finder

Duplicates Finder от Datablist — мощный инструмент для поиска похожих записей. Помимо гибких возможностей автоматического и ручного объединения дублей, режим AI Processing обеспечивает дополнительную свободу действий.

Вместо готовых правил объединения AI Processing позволяет самостоятельно описать нужную логику на естественном языке. Вы можете точно указать AI, как следует обработать дубли. Например:

• Выбрать основную запись по заданным критериям (например, по самой поздней дате обновления).
• Объединить отдельные поля, сохранив остальные раздельно.
• Выполнить вычисления при объединении (например, сложить значения).
• 👉 И самое важное для этого руководства: заменить значение определённого поля во всех дублях на единый нормализованный вариант, не объединяя записи.

Так сложная задача, для которой обычно пришлось бы писать скрипт обработки данных, превращается в простой диалог с нашим AI.

Как нормализовать данные в дублях: пошаговая инструкция

Разберём, как с помощью AI Processing нормализовать поле (например, название компании) во всех дублирующихся записях.

Шаг 1. Подготовьте данные

Сначала загрузите данные в Datablist.

1. Создайте коллекцию: нажмите кнопку «+» на боковой панели, чтобы создать новую коллекцию.

2. Импортируйте данные: загрузите данные из файла CSV или Excel. Если информация хранится в нескольких файлах, импортируйте их в одну коллекцию. Datablist поможет сопоставить столбцы со свойствами. Убедитесь, что поле для нормализации (например, название компании) и поля для поиска дублей (например, Email или Website) импортированы правильно.

В этом примере уже видны дублирующиеся названия компаний, которые необходимо нормализовать.

Шаг 2. Найдите дубли

Теперь найдите дублирующиеся записи.

2.a. Откройте Duplicates Finder

Откройте Clean > Merge duplicates.

2.b. Выберите идентификаторы дублей

Выберите свойство или несколько свойств, которые позволяют однозначно определить дубли.

Используйте общий сайт или ID компании, если они у вас есть. Если доступны только названия, воспользуйтесь руководством по сопоставлению названий компаний и проверяйте каждую группу перед нормализацией. Похожие названия и разные юридические суффиксы могут относиться к разным организациям.

Для компаний также можно использовать Website URL или LinkedIn Company Page URL.

Для контактов обычно подходят Email или Phone Number.

2.c. Настройте алгоритм

На следующем шаге выберите алгоритм сопоставления.

Режим Smart часто хорошо работает с URL и Email, поскольку учитывает небольшие различия. Режим Exact строже. Для названий также доступны фонетическое и нечёткое сопоставление.

Выберите Processor для поля, по которому ищете дубли. Для сайта используйте Url, а для Email — Email. При сопоставлении вариантов названий компаний выберите Company Name.

Processor меняет способ сравнения значений, но не редактирует данные в ячейках. На этом этапе можно группировать записи по Website URL, а затем нормализовать Company Name с помощью AI. Идентификатор для сопоставления и поле, которое требуется обновить, выполняют разные задачи.

2.c. Запустите проверку

Нажмите Run duplicates check.

Datablist проанализирует данные и покажет группы потенциальных дублей.

Шаг 3. Выберите режим AI Processing

На странице с результатами поиска дублей выберите Custom with AI. На старых скриншотах ниже этот режим ещё называется AI Editing. Он создаёт скрипт на основе ваших инструкций и небольшой выборки записей, а затем показывает предварительный результат изменений.

Шаг 4. Составьте промпт для нормализации

Здесь необходимо объяснить AI, что именно нужно сделать. Укажите следующие действия:

1. Определить самое частое значение целевого свойства в каждой группе дублей.
2. Заменить значение этого свойства во всех записях группы на найденный вариант.
3. Явно указать, что удалять записи не нужно.

Ниже приведён пример промпта для нормализации свойства /Company Name:

Разберём промпт подробнее:

• Нормализуй свойство /CompanyName...: указывает целевое поле. Для ссылки на столбцы используйте /PropertyName или {{PropertyName}}.
• ...подсчитай непустые значения, используя точное совпадение текста.: задаёт правило выбора стандартного значения. Пустое значение не может победить, а группы с одинаковой частотой вариантов остаются для ручной проверки. Можно задать и другие критерии: «самое длинное значение», «самое короткое значение» или значение из другой записи — например, «используй значение записи с самой поздней датой /UpdatedAt».
• Пропусти группу, если все значения /CompanyName уже одинаковы.: помогает избежать лишней обработки.
• Не удаляй записи.: важное условие, гарантирующее, что обновятся только поля, а записи не будут объединены или удалены.

Шаг 5. Создайте скрипт и проверьте результат

Нажмите Generate and preview changes. AI Datablist интерпретирует промпт и создаст скрипт для выполнения задачи.

Не беспокойтесь: писать или редактировать скрипт самостоятельно не придётся.

• Описание скрипта: краткое объяснение на понятном языке, что именно сделает скрипт. Убедитесь, что оно соответствует вашей задаче.
• Предварительный результат: таблица, которая показывает, как именно скрипт изменит выборку групп дублей, до применения каких-либо изменений. Проверьте целевое поле (например, /Company Name) и убедитесь, что во всех тестовых дублях отображается нужное нормализованное значение.

Например, в группе со значениями Acme Ltd, Acme Ltd и Acme Limited должны остаться три строки, а во всех них — значение Acme Ltd. Группа с одним значением Acme Ltd и одним Acme Limited должна остаться без изменений, поскольку ни один вариант не встречается чаще. Это примеры для проверки предварительного результата, а не фактически полученные показатели.

Проверьте и значения, и количество строк. Убедитесь, что пустые поля заполняются только при наличии однозначного победителя, группы с равной частотой вариантов не меняются, а исходные ID и остальные свойства сохраняются.

Шаг 6. Запустите скрипт

Если описание и предварительный результат верны, нажмите Run AI rules. Datablist выполнит созданный скрипт для всех найденных групп дублей.

Шаг 7. Проверьте изменения

После завершения работы скрипта Datablist покажет сводку и предложит скачать Changes List.

Это пригодится, если изменения нужно повторить во внешней системе — например, чтобы отредактировать Leads в CRM.

Вернитесь к основному представлению коллекции. Теперь целевое поле (например, /CompanyName) будет одинаковым во всех записях каждой группы дублей, а сами записи останутся раздельными.

Готово: вы нормализовали поле во всех дублях без объединения записей! 🚀

Когда нужна нормализация без объединения

В каких случаях стоит нормализовать поле вместо полного объединения записей?

• Стандартизация названий компаний и имён контактов: приведите к единому виду варианты вроде «Example Ltd», «Example Limited» или «Jon Doe», «Jonathan Doe», прежде чем выбирать окончательную стратегию объединения.
• Очистка названий должностей: унифицируйте варианты «VP Marketing», «Vice President Marketing» и «Marketing VP» для корректных отчётов и аналитики.
• Нормализация географических данных: приведите к единому виду названия стран («UK», «United Kingdom») или сокращения регионов («CA», «California») в дублирующихся адресах.
• Подготовка к импорту или обновлению CRM: стандартизируйте ключевые поля перед импортом в CRM со строгими правилами валидации, даже если дубли пока нужно сохранить.
• Аудит данных: сохраните исходные дубли для аудита или отслеживания истории, но унифицируйте ключевые идентификаторы, чтобы упростить анализ.
• Поэтапная очистка: нормализуйте по одному полю в рамках общего процесса очистки данных, прежде чем окончательно объединять или удалять записи.

Зачем нормализовать данные вместо объединения?

• Сохраняется детализация записей: отдельные дубли остаются неизменными, что может быть важно для отслеживания источников, конкретных взаимодействий или истории каждой записи.
• Учитывается неопределённость: подход полезен, когда дубли совпадают не полностью. Нормализация ключевого поля обеспечивает единообразие, не заставляя объединять записи, которые могут отличаться по другим данным.
• Поэтапный подход: процесс очистки остаётся управляемым. Сначала можно нормализовать данные, затем проверить их и только после этого принять решение об объединении или удалении.
• Простота: это точечное действие. Вы приводите одно поле к единому виду, не затрагивая остальные данные в дублирующихся записях.

Заключение

Начните с проверенной группы, задайте правило выбора значения и изучите предварительный результат. После запуска убедитесь, что количество строк не изменилось, и проверьте группы, пропущенные из-за одинаковой частоты вариантов. Затем можно экспортировать унифицированные названия, сохранив каждую исходную запись отдельно.

FAQ

1. Входит ли AI Processing в мой тариф Datablist? AI Processing, включая создание и запуск скриптов для нормализации, доступен в платных тарифах Datablist. Подробности приведены на странице тарифов.

2. Можно ли нормализовать несколько полей одним промптом? Да, в одном промпте можно описать одновременную нормализацию нескольких полей. Например: «Нормализуй свойство /Company Name, используя самое частое значение в каждой группе. Нормализуй свойство /Country, используя самое частое значение в каждой группе. Не удаляй записи».

3. Что делать, если AI неправильно понял промпт? Перед запуском скрипта всегда внимательно проверяйте его описание и предварительные результаты. Если результат неверен, уточните промпт, сделав его более ясным и конкретным, а затем создайте скрипт заново.

4. Можно ли отменить изменения, внесённые AI-скриптом? После запуска скрипта изменения применяются напрямую. В Datablist есть функция отмены недавних действий в рамках текущей сессии, однако перед серьёзными преобразованиями данных рекомендуется клонировать коллекцию. Так при необходимости вы сможете вернуться к исходной версии.

5. Чем этот способ отличается от стандартной опции объединения «Combine conflicting properties»? Стандартная опция «Combine» объединяет дубли в одну основную запись и соединяет конфликтующие текстовые значения в одном поле. AI Processing при правильно составленном промпте обновляет поле во всех дублирующихся записях, присваивая им единое выбранное значение, и сохраняет каждую запись отдельно. Записи не объединяются, а значения не соединяются, если вы явно не попросите об этом.