Как удалить дубликаты в нескольких файлах Excel и CSV

Чтобы удалить дубликаты в нескольких файлах Excel или CSV, загрузите каждый файл в отдельную коллекцию Datablist, сопоставьте свойства, по которым можно определить одну и ту же запись, а затем сравните коллекции. После этого можно удалить совпавшие строки из входящего списка, не изменяя справочный список.

Этот сценарий полезен, если у вас есть выгрузка из CRM и новый файл с потенциальными клиентами. Он позволяет ответить на конкретный вопрос: какие потенциальные клиенты уже есть в CRM?

Автоматическое действие исключает записи, а не объединяет их. Оно удаляет совпавшие записи из выбранной коллекции, но не переносит их уникальные значения в другую коллекцию.

В этом руководстве описан реальный тест с двумя CSV-файлами по 250 строк:

Коллекция	Назначение	Строк до обработки	Свойство для сопоставления
`CRM Export`	Справочный список, который нужно сохранить	250	`Email`
`Event Registrations`	Входящий список для очистки	250	`Attendee Email`

В файлах специально создано 100 пересечений между списками. После удаления этих совпадений из Event Registrations остаётся 150 новых контактов участников мероприятия.

В этом примере сопоставление выполняется по email. Если в списках отсутствуют email-адреса или используются несколько идентификаторов контакта, изучите руководство по удалению дубликатов лидов, прежде чем решать, какие совпадения можно безопасно исключить.

Скачайте два тестовых файла

Используйте эти файлы, чтобы воспроизвести тест:

Заголовки столбцов намеренно различаются. В CRM используются Email, First Name и Last Name, а в файле с регистрациями — Attendee Email, Attendee First Name и Attendee Last Name. Благодаря сопоставлению свойств между коллекциями исходную структуру файлов можно сохранить.

Тестовые данные содержат разные варианты форматирования email-адресов и алиасов. Поэтому Smart-сопоставление с процессором Email здесь полезнее обычного точного сравнения.

Импортируйте каждый файл в отдельную коллекцию

Откройте Datablist и импортируйте каждый файл CSV или Excel в отдельную коллекцию. Назовите коллекции в соответствии с их назначением, чтобы было проще проверить правило очистки.

Первая коллекция в этом тесте — справочный список из CRM. Она содержит 250 записей и должна остаться без изменений.

Справочная коллекция CRM Export с 250 записями

Вторая коллекция — входящий список участников мероприятия. Изначально в ней также 250 записей.

Коллекция Event Registrations с 250 входящими контактами

Во время импорта проверьте типы свойств. Для обоих столбцов с email-адресами выберите тип Email. Сохраните внешние ID, имена, номера телефонов и другие поля: они помогут проверить сомнительные совпадения.

Сопоставьте идентифицирующие свойства

Откройте входящую коллекцию Event Registrations. Выберите Clean > Match across collections.

Меню Clean с выбранной функцией Match across collections

Включите Check duplicate items across several collections? и добавьте CRM Export.

Выберите Attendee Email в коллекции с регистрациями и сопоставьте его с Email в коллекции CRM.

Выбранные коллекции Event Registrations и CRM Export, где Attendee Email сопоставлен с Email

Надёжный идентификатор важнее названия столбца. Подходящие варианты:

Email-адрес для контактов.
Номер телефона, если в обоих файлах используются совместимые коды стран.
URL профиля LinkedIn для списков потенциальных клиентов.
Домен сайта для компаний.
SKU или другой стабильный идентификатор для товаров.

Не выполняйте сопоставление только по имени: у разных людей часто бывают одинаковые имена.

Если выбрать несколько свойств, Datablist рассчитает их общий балл. Если нужно независимо проверить email и телефон, запускайте отдельные проверки. При включённом параметре Match on empty value свойства, которые пусты в обеих записях, получают совпадение 100% и могут повысить средний балл. Перед исключением группы проверьте заполненные идентификаторы и изучите пример расчёта баллов для пустых значений.

Настройте параметры сравнения

Используйте Exact для стабильных ID, которые должны полностью совпадать. Для email-адресов выберите Smart и процессор Email.

Smart-сопоставление и процессор Email, настроенные для двух коллекций

Процессор Email стандартизирует поддерживаемые варианты email-адресов для сравнения, не изменяя исходные ячейки. Подробнее о возможностях и ограничениях этой функции читайте в отдельном руководстве по удалению дубликатов email-адресов и алиасов.

Нажмите Run duplicates check, предварительно проверив два источника, количество записей, сопоставленные свойства и параметры сравнения.

Проверьте совпадения между списками

В ходе этого теста было проверено 500 записей и найдено 100 групп дубликатов из разных коллекций.

Результаты сопоставления между коллекциями: проверено 500 записей и найдено 100 групп дубликатов

Режим сопоставления между коллекциями возвращает только группы, в которых есть записи более чем из одной коллекции. Дубликаты, найденные только внутри CRM Export или только внутри Event Registrations, пропускаются.

Прежде чем что-либо удалять, проверьте группы:

Убедитесь, что сопоставленный идентификатор относится к одному и тому же человеку или одной компании.
Проверьте, содержит ли входящая строка уникальные данные.
Убедитесь, что справочная коллекция выбрана правильно.
Скачайте группы, если исключение должен согласовать другой сотрудник.
Используйте Manual Merging Assistant для отдельных групп, данные которых нужно объединить, а не удалить.

Если необходимо удалить дубликаты и внутри одного из файлов, отдельно запустите для соответствующей коллекции Duplicates Finder.

Удалите пересечения из входящего списка

Выберите Remove duplicate items from collection {X}, а затем укажите Event Registrations как коллекцию для очистки.

Перед обработкой Datablist покажет результат действия:

Совпавшие записи будут удалены из Event Registrations.
CRM Export останется без изменений.
Записи о мероприятии, для которых нет совпадений в CRM, сохранятся.
Уникальные значения, присутствующие только в удаляемой записи, будут потеряны.

Правило очистки для удаления пересечений с CRM из Event Registrations

⚠️ Это действие не объединяет данные с CRM

Если запись о мероприятии содержит полезный номер телефона, источник, поле согласия или примечание, которых нет в CRM, автоматическое исключение не перенесёт эти данные. Сначала проверьте или экспортируйте группы либо воспользуйтесь Manual Merging Assistant для соответствующих групп.

При работе с тремя и более коллекциями Datablist также предлагает правило, которое сохраняет дубликаты только в одной выбранной коллекции. Внимательно проверьте сводку перед обработкой: это действие может удалить записи сразу из нескольких источников.

Нажмите Process duplicate items, когда выбранная коллекция и сводка будут соответствовать нужному результату.

В этом тесте Datablist обработал все 100 групп дубликатов из разных коллекций. После этого на экране результатов отображалось ноль оставшихся групп.

Успешная обработка 100 групп дубликатов из разных коллекций

Проверьте очищенный список

Вернитесь в Event Registrations. Теперь коллекция содержит 150 записей.

Очищенная коллекция Event Registrations со 150 новыми контактами

Проверка количества строк:

250 входящих строк - 100 контактов, найденных в CRM = 150 новых строк

Перед экспортом убедитесь, что:

В CRM Export по-прежнему 250 записей.
В Event Registrations осталось 150 записей.
Несколько известных email-адресов из CRM больше не встречаются в списке участников мероприятия.
Контакты, для которых не найдено совпадений, сохранились.
Выполненная операция отображается в History на случай, если её потребуется отменить.

Экспортируйте очищенную коллекцию с участниками мероприятия в CSV или Excel. Теперь её можно использовать в работе с новыми Lead, не импортируя повторно контакты, которые уже хранятся в CRM.

Ограничения удаления дубликатов между коллекциями

Сопоставление между коллекциями решает более узкую задачу, чем объединение файлов:

Автоматическая обработка удаляет записи, но не объединяет поля из разных коллекций.
Дубликаты внутри одной коллекции пропускаются.
Каждое свойство для сравнения необходимо сопоставить во всех выбранных коллекциях.
Результат сопоставления по выбранным свойствам зависит от общего балла и настроек пустых значений.
Smart-, нечёткое и фонетическое сопоставление могут находить варианты, требующие ручной проверки.
Сопоставление между коллекциями доступно на платном тарифе.

Используйте этот сценарий для списков исключений, проверки данных перед импортом в CRM, очистки Lead с мероприятий, исключения контактов из аудиторий кампаний и любых других процессов, в которых один список должен оставаться единым источником достоверных данных.

Если перед удалением дубликатов нужно собрать файлы в одну таблицу, воспользуйтесь руководством по объединению таблиц. Если необходимо сохранить взаимодополняющие значения внутри одной коллекции, используйте сценарий для одного списка, чтобы объединить дублирующиеся Lead без потери данных.