Как удалить дубли email-адресов из списка контактов

Florian Poullin
Florian Poullin
14 мин чтения
Удалите дубли email и сохраните данные контактов
Как удалить дубли email-адресов из списка контактов
Оглавление
  1. Какие email-адреса Datablist считает одинаковыми
  2. Пример списка email для этой инструкции
  3. Импорт и подготовка столбца email
  4. Настройка Duplicates Finder
  5. Запуск проверки и просмотр групп дублей
  6. Объединить или удалить: что выбрать
  7. Результаты теста на списке из 1 000 строк
  8. Ошибки и чек-лист проверки
    1. Точки в адресах не Gmail
    2. Некорректные значения
    3. Точное сравнение
    4. Несколько адресов в одной ячейке
    5. Общие почтовые ящики
    6. Удаление взаимодополняющих полей
  9. Дальнейшая очистка списка email
  10. Удалите дубли из списка в Datablist
  11. FAQ

Дубли email часто незаметно появляются, когда вы объединяете выгрузку из CRM с заявками из форм или списком участников мероприятия. Один и тот же человек оказывается в базе дважды, но строки редко совпадают полностью: в одной может быть номер телефона, а в другой — источник или полезная заметка.

Поэтому я не начинаю с удаления повторяющихся email. Чтобы безопасно удалить дубли email-адресов, я использую Datablist Duplicates Finder с алгоритмом Smart и процессором Email. Он группирует варианты одного адреса, после чего можно просмотреть строки контактов целиком и объединить данные, которые нужно сохранить.

Для этой инструкции я подготовил тестовый список из 1 000 контактов с типичными вариантами email: плюс-алиасами, разным написанием адресов Gmail и адресами в обёртках. Datablist нашёл 200 пар дублей, а после очистки в коллекции осталось 800 контактов. Ниже я покажу использованные настройки и проверки, которые выполнил перед объединением.

Сначала ищите совпадения по email, но решайте, какие данные сохранить, на основе всей строки контакта. Если вам нужно сравнивать имена, номера телефонов, домены компаний или другие идентификаторы, изучите инструкцию о том, как удалить дубли из списка онлайн.

Какие email-адреса Datablist считает одинаковыми

Алгоритм Smart с процессором Email сравнивает идентичность email, а не исходный текст ячеек. Он удаляет пробелы по краям, приводит значения к нижнему регистру и перед сравнением убирает +суффикс из локальной части адреса.

Кроме того, применяются специальные правила для Gmail. Из локальной части адресов Gmail удаляются точки, а домен googlemail.com заменяется на gmail.com. Datablist также умеет извлекать корректный адрес из обёртки с отображаемым именем или из значения mailto: со строкой запроса.

Примеры из тестового набора данных:

Сохранённые значенияРезультат Smart Email
noraanderson40@demo.co
noraanderson40+newsletter@demo.co
Один адрес после удаления плюс-суффикса
victorbennett62@gmail.com
victorb.ennett62@gmail.com
Один адрес Gmail после удаления точек
yasmincarter105@gmail.com
yasmincarter105@googlemail.com
Один адрес Gmail после нормализации домена
camiladiaz123@testmail.net
Camila Diaz <camiladiaz123@testmail.net>
Один адрес после извлечения из обёртки
marcusevans199@testmail.net
mailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello
Один адрес после удаления обёртки и приведения к нижнему регистру

Обработка точек применяется только к Gmail. Datablist не считает адреса first.last@company.com и firstlast@company.com одинаковыми. В доменах, отличных от Gmail, точки могут иметь значение.

Smart Email — это правило сравнения, а не валидатор email. Оно проверяет структуру лишь в объёме, необходимом для нормализации адреса, но не выполняет полную проверку домена или почтового ящика. Например, person+tag@.example.com при сопоставлении превратится в person@.example.com, хотя домен указан некорректно. Перед объединением отдельно проверьте невалидные значения.

Чтобы плюс-алиасы, точки в Gmail и обёртки считались разными адресами, выберите Exact. Точное текстовое сравнение всё равно удаляет пробелы по краям и по умолчанию игнорирует регистр. Включите Case sensitive, если прописные и строчные буквы должны различаться; пробелы по краям при этом по-прежнему удаляются.

Перед объединением проверяйте адреса с плюс-тегами в корпоративных доменах. Smart Email группирует sam+orders@example.com и sam@example.com по одному ключу сравнения. Exchange Online сначала пытается разрешить полный адрес, а если это не удаётся — использует базовый. [1] Если адресам соответствуют разные записи получателей или правила маршрутизации неясны, сохраните оба. Запустите проверку с алгоритмом Exact для столбца email и убедитесь, что строки остаются раздельными.

🔑 Нормализация лишь предлагает группу дублей

Она не доказывает, что все поля относятся к одному человеку. Перед объединением проверяйте имена, компании и общие служебные ящики.

Для большинства задач по очистке контактных баз я рекомендую алгоритм Smart с процессором Email. Если алиасы нужно сохранить раздельно, я переключаюсь на Exact и проверяю настройку регистра с учётом идентификаторов в файле.

Полные правила нормализации и доступность функции на разных тарифах приведены в справке по процессору Email.

Пример списка email для этой инструкции

Тестовый файл содержит 1 000 синтетических строк контактов, соответствующих 800 заранее заданным идентичностям. Ни в одной паре дублей исходные строки email не совпадают. Это важно: простая очистка по точным значениям не продемонстрировала бы сопоставление с учётом алиасов.

В файле восемь столбцов: record_id, first_name, last_name, email, company, phone, source и notes. Сопоставление выполняется по email, но остальные поля остаются видимыми, чтобы можно было выбрать основную запись и сохранить полезные значения.

Вот четыре исходные строки из двух пар дублей:

record_idfirst_namelast_nameemailphonesourcenotes
CONTACT-0040-ANoraAndersonnoraanderson40@demo.coВыгрузка из CRMОсновная запись контакта
CONTACT-0040-BN.A.noraanderson40+newsletter@demo.co+1-202-555-1039Форма на сайтеДанные для дальнейшей работы из второго источника
CONTACT-0062-AVictorBennettvictorbennett62@gmail.com+1-202-555-1061Форма на сайтеОсновная запись контакта
CONTACT-0062-BvictorBENNETTvictorb.ennett62@gmail.comМероприятиеДанные для дальнейшей работы из второго источника

Пара с Норой показывает, почему я не удаляю дубли сразу. В базовой записи указано предпочтительное полное имя, а строка с плюс-алиасом содержит единственный номер телефона и второй источник привлечения. При объединении можно сохранить и то и другое.

В наборе данных 200 идентичностей с двумя строками. Они поровну распределены между пятью типами вариаций: плюс-алиасы, адреса Gmail с точками, gmail.com и googlemail.com, обёртки с отображаемым именем и значения mailto:. Остальные 600 идентичностей представлены одной строкой.

Вы можете скачать тестовый CSV на 1 000 строк и повторить все действия. Если вы используете собственный файл, оставьте по одному email в каждой строке и сохраните соседние поля, которые нужно объединить.

Импорт и подготовка столбца email

Импортируйте файл CSV или Excel в новую коллекцию Datablist. Проверьте предварительный просмотр импорта и сопоставьте столбец email со свойством типа email.

Храните имена, компанию, телефон, источник, заметки и постоянные ID в отдельных свойствах. Эти столбцы — не лишние данные, а доказательства, на которые можно опереться, если две строки совпадают по email, но различаются в других полях.

Коллекция из 1 000 контактов с открытым пунктом Merge duplicates в меню Clean
Коллекция из 1 000 контактов с открытым пунктом Merge duplicates в меню Clean

Для этого процесса я также предпочитаю хранить один адрес в одной ячейке. Если ячейка содержит alice@example.com; bob@example.com, сначала разделите или нормализуйте адреса. Этот отдельный сценарий описан в инструкции о том, как удалить дубли в поле с несколькими email-адресами.

При наличии нескольких адресов в ячейке дедупликация множественных значений сравнивает элементы, разделённые точкой с запятой. Прежде чем считать две записи контактов одним человеком, проверьте совпадающий почтовый ящик.

💡 Сохраните данные для проверки объединения

Не удаляйте столбцы с источником, заметками, телефоном или постоянным ID до дедупликации. Они помогут выбрать основную строку и не потерять уникальные данные.

Откройте Clean > Merge duplicates. Выберите Selected Properties, а затем свойство email для первого прохода по email.

Свойство email выбрано как поле для поиска дублей контактов
Свойство email выбрано как поле для поиска дублей контактов

Если выбрать одно свойство, логика правила останется прозрачной. Добавление имени или компании на этом этапе может помешать найти корректное совпадение по email, когда эти поля пусты или отформатированы по-разному.

Настройка Duplicates Finder

Для свойства email выберите алгоритм сравнения Smart и процессор Email.

Сравнение Smart с настроенным процессором Email
Сравнение Smart с настроенным процессором Email

У каждой настройки своя задача:

  • Selected Properties ограничивает проверку идентификатором, который вы хотите сравнить.
  • Smart включает нормализацию с помощью процессора вместо буквального сравнения сохранённых строк.
  • Email применяет описанные выше проверенные правила для алиасов, Gmail, отображаемых имён и mailto:.

Используйте Smart вместе с процессором Email для поиска вариантов одного адреса. Exact не применяет специальную нормализацию email, но всё равно удаляет пробелы по краям и по умолчанию игнорирует регистр.

Сама проверка дублей доступна только для чтения. После запуска создаются группы кандидатов для просмотра, но строки коллекции не удаляются и не объединяются. Изменения происходят только после того, как вы выберете и примените действие объединения или удаления.

Такое разделение удобно: сначала я вижу, какие значения правило считает эквивалентными, и лишь затем разрешаю массовому объединению изменить список.

Запуск проверки и просмотр групп дублей

Нажмите Run duplicates check. В этом тесте Datablist распределил 400 из 1 000 строк по 200 группам, содержащим по две строки.

Просмотр 200 групп дублей с вариантами email и конфликтующими полями
Просмотр 200 групп дублей с вариантами email и конфликтующими полями

Пока не считайте количество групп количеством строк для удаления. Группа — это кандидат на проверку. Для каждой группы убедитесь:

  • что различия в email имеют понятное объяснение;
  • что имена и фамилии совпадают либо различия можно объяснить;
  • что значения компании и телефона не конфликтуют;
  • что источник и заметки содержат взаимодополняющую информацию;
  • что адрес не относится к общему почтовому ящику.

Обычно я проверяю первые несколько групп и все неожиданные совпадения между разными компаниями, прежде чем применять массовое правило. Это быстрее, чем потом исправлять последствия слишком агрессивного объединения.

⚠️ Одинаковый адрес не всегда означает одного человека

Общий ящик вроде sales@company.com может быть указан у нескольких реальных контактов. Проверяйте адреса отделов вручную и не объединяйте все строки автоматически.

Тестовый файл был спроектирован так, чтобы каждая нормализованная пара соответствовала одной идентичности. В реальной выгрузке из CRM всё будет сложнее. Если имена или компании указывают на разных людей, пропустите группу или проверьте её отдельно.

Объединить или удалить: что выбрать

Я придерживаюсь простого правила:

  • Объединяйте строки, если они содержат взаимодополняющие данные.
  • Удаляйте лишнюю строку, только если в ней нет полезной информации.
  • Оставляйте неоднозначные группы для ручной проверки.

В этом тесте в качестве основной выбиралась наиболее полная строка. В ней сохранялся основной record_id, для имени и фамилии использовались самые длинные значения, а source и notes объединялись через точку с запятой.

Правила объединения для сохранения основной записи, источников и заметок
Правила объединения для сохранения основной записи, источников и заметок

Эти настройки подходят для примера, но я бы не стал по умолчанию объединять каждое конфликтующее свойство. История источников вполне может выглядеть как Форма на сайте;Выгрузка из CRM. А для статуса в CRM, ID владельца или основного email обычно требуется одно авторитетное значение.

В предварительном просмотре нужно проверить правильность выбора. После изменения правила снова просмотрите итоговую строку.

Предварительный просмотр всех 200 проверенных групп перед объединением
Предварительный просмотр всех 200 проверенных групп перед объединением

💡 Проверяйте результат после каждого изменения правил

Перед применением правила ко всем готовым группам убедитесь, какая строка становится основной, какие значения объединяются, а какие исчезают.

Если строка-дубль содержит уникальный номер телефона, источник или заметку, объедините её, а не удаляйте. В примере с Норой итоговая строка сохранила полное имя из одной записи и телефон из другой.

При более сложных конфликтах в CRM воспользуйтесь подробной инструкцией о том, как объединять дубли Lead без потери данных. В этом процессе с приоритетом email задача состоит в том, чтобы сохранить полезные соседние поля, не превращая каждое свойство в строку с несколькими значениями.

Результаты теста на списке из 1 000 строк

После объединения получились следующие показатели:

ПоказательРезультат
Исходное количество строк1 000
Строки, попавшие в группы дублей400
Группы дублей из двух строк200
Удалённые строки-дубли200
Обновлённые основные строки200
Итоговое количество строк800
Оставшиеся группы дублей0

Расчёт прост: 1 000 исходных строк - 200 удалённых строк = 800 сохранённых строк.

Успешное завершение объединения 200 групп без оставшихся дублей
Успешное завершение объединения 200 групп без оставшихся дублей

В ручном тесте объединение заняло несколько секунд, но точное время не фиксировалось. Это наблюдение для конкретного запуска, а не показатель производительности.

Скачанный журнал изменений содержит 400 записей: 200 удалённых строк и 200 обновлённых основных строк. Для каждой объединённой группы в нём показаны значения до объединения и значения, сохранённые в итоговой строке.

Скачанный журнал изменений с удалёнными и обновлёнными записями
Скачанный журнал изменений с удалёнными и обновлёнными записями

В таблице ниже приведены точные значения из теста:

Исходные вариантыПричина совпаденияСохранённый emailДействиеСохранённые поля
noraanderson40@demo.co
noraanderson40+newsletter@demo.co
Удалён плюс-суффиксnoraanderson40+newsletter@demo.coОбъединено с CONTACT-0040-BПолное имя, телефон, Форма на сайте;Выгрузка из CRM и обе заметки
victorbennett62@gmail.com
victorb.ennett62@gmail.com
Нормализованы точки Gmailvictorbennett62@gmail.comОбъединено с CONTACT-0062-AТелефон, Форма на сайте;Мероприятие и обе заметки
gabrielcarter113@gmail.com
gabrielcarter113@googlemail.com
Нормализованы домены Gmailgabrielcarter113@gmail.comОбъединено с CONTACT-0113-AТелефон, Партнёрский список;Выгрузка из CRM и заметка о запросе демо
camiladiaz123@testmail.net
Camila Diaz <camiladiaz123@testmail.net>
Удалена обёртка с отображаемым именемcamiladiaz123@testmail.netОбъединено с CONTACT-0123-AПолное имя, телефон, Партнёрский список;Выгрузка из CRM и обе заметки
marcusevans199@testmail.net
mailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello
Удалена обёртка mailto: и нормализован регистрmailto:MARCUSEVANS199@TESTMAIL.NET?subject=HelloОбъединено с CONTACT-0199-BПолное имя, телефон, Вебинар;Мероприятие и обе заметки

Обратите внимание: сохранённое значение не всегда выглядит как самый простой вариант email. То, какой адрес останется в базе, зависит от выбранной основной записи. Нормализация используется для сопоставления, но не переписывает сохранённые значения в каноническом формате.

Очищенная коллекция Accounts с 800 оставшимися строками
Очищенная коллекция Accounts с 800 оставшимися строками

В тесте количество строк сократилось с 1 000 до 800, поскольку 200 проверенных дублей были объединены с основными записями. Этот результат относится к подготовленному тестовому списку и не отражает универсальную долю совпадений для любых форматов email.

Ошибки и чек-лист проверки

Smart Email обрабатывает пять протестированных типов вариаций, но не заменяет ручную проверку.

Точки в адресах не Gmail

В доменах, отличных от Gmail, точки имеют значение. Не считайте, что first.last@company.com и firstlast@company.com относятся к одному ящику. Если их связь подтверждается внешними данными, обработайте пару вручную.

Некорректные значения

Не воспринимайте совпадение как подтверждение валидности. Значения без пригодной структуры с @ или с внутренними пробелами не нормализуются как обычные адреса, однако процессор выявляет не все некорректные формы домена. Два ошибочных значения всё равно могут нормализоваться до одного ключа сравнения. Проверяйте формат адреса и домен отдельно, а сомнительные строки исключайте из автоматического объединения. Дополнительно можно проверить существование ящика и доставляемость.

Точное сравнение

Exact не удаляет плюс-суффиксы, точки Gmail, доменные алиасы и обёртки с отображаемым именем. При этом он удаляет пробелы по краям и по умолчанию сравнивает текст в нижнем регистре. Например, NAME@example.com и name@example.com совпадут со стандартными настройками Exact, а name+tag@example.com и name@example.com останутся разными. Включите Case sensitive, если при сравнении важно учитывать регистр. Exact полезен, когда различия между алиасами имеют значение, но он не проверяет валидность и не выполняет побайтовое сравнение исходных ячеек.

Несколько адресов в одной ячейке

Этот метод предполагает, что в каждой ячейке находится один адрес. Если в ячейке несколько адресов, разделённых знаками-разделителями, перед сопоставлением строк примените отдельный процесс для множественных значений.

Общие почтовые ящики

Две строки с sales@company.com могут относиться к разным людям. Решение следует принимать по именам, должностям, компаниям и заметкам. Я бы не стал массово объединять адреса отделов без проверки.

Удаление взаимодополняющих полей

При удалении лишней строки можно потерять единственный номер телефона, источник привлечения или заметку. Проверьте в предварительном просмотре объединения, какие данные сохранятся.

В подготовленном тесте были найдены все 200 задуманных идентичностей и не возникло неожиданных групп, объединяющих разных людей. Однако тест не охватывал все реальные форматы адресов, ошибочные значения и варианты общих ящиков.

Перед экспортом собственного списка проверьте:

  • Каждая подтверждённая группа соответствует одной идентичности.
  • Общие ящики и адреса отделов проверены вручную.
  • Основная строка содержит предпочтительные имя, ID и email.
  • Уникальные значения телефона, компании, источника и заметок сохранены после объединения.
  • Разница между исходным и итоговым количеством строк равна числу удалённых строк.
  • Выборочная проверка охватывает каждый тип нормализации, присутствующий в списке.
  • Количество оставшихся групп дублей соответствует ожиданиям.

📌 Сверьте количество строк

Исходные строки - удалённые строки = итоговые строки — самый быстрый способ проверить полноту после объединения.

Дальнейшая очистка списка email

Дедупликация устраняет повторяющиеся идентичности, но не проверяет существование почтового ящика, одноразовые почтовые сервисы, статус отписки или доставляемость.

Я предпочитаю сначала устранять дубли. Тогда последующие проверки выполняются только для сохранённых контактов, а не для нескольких версий одного человека. Когда результат объединения пройдёт проверку по чек-листу, очистите оставшуюся часть списка email, затем откройте Export и выберите CSV или Excel.

Удалите дубли из списка в Datablist

Импортируйте файл с контактами в Datablist, запустите поиск дублей с учётом особенностей email, проверьте предложенные группы, объедините полезные значения и экспортируйте очищенный список.

FAQ

Важен ли регистр при сравнении email-адресов?

Smart Email приводит значения к нижнему регистру, поэтому NAME@example.com и name@example.com могут попасть в одну группу, если остальные части нормализованного адреса совпадают.

Считаются ли точки Gmail и плюс-алиасы одним адресом?

Smart Email удаляет плюс-суффикс из локальной части и игнорирует точки в локальной части адресов Gmail. Правило для точек применяется только к Gmail. В остальных доменах точки сохраняют значение.

Объединять дубли контактов или удалять их?

Объединяйте строки, если другая запись содержит номер телефона, источник, заметку, компанию или иное полезное поле. Удаляйте лишнюю строку только в том случае, если в ней нет нужных данных.

Что делать, если в одной ячейке несколько email?

Разделите или нормализуйте множественные значения до запуска этого процесса сопоставления строк. Следуйте инструкции о том, как удалить дубли в поле с несколькими email-адресами.

Нужно ли объединять общие ящики вроде sales@company.com?

Не автоматически. Один общий адрес может представлять несколько контактов. Сравните имена и другие поля, а затем проверьте такие группы вручную.

Источники