Как объединить дубли лидов в CRM без потери данных

Чтобы объединить дубли лидов без потери полезных данных, сначала определите, какие записи относятся к одному человеку или компании. Затем выберите основную запись, заполните в ней пустые поля и устраните противоречия между значениями — и только после этого запускайте объединение.

Если просто удалить все строки с повторяющимся email, можно потерять номер телефона, примечание или идентификатор CRM, который есть только в одной из записей. В Datablist поиск дублей отделён от принятия решений об объединении, поэтому перед внесением изменений каждую группу можно проверить.

Если лиды хранятся в нескольких базах данных, сначала экспортируйте их вместе с идентификаторами исходных записей. В этом руководстве используется файловый процесс: вы очистите объединённый список лидов в Datablist, а затем подготовите обновления для исходных систем.

В этом пошаговом руководстве вы узнаете:

• Как автоматически найти дубли лидов
• Как автоматически удалить дубли лидов
• Как вручную объединить оставшиеся дубли лидов
• Как обновить CRM с помощью очищенного списка лидов
• Как экспортировать группы дублей в файл Excel для внешней обработки

Примечание: это руководство посвящено дедупликации лидов. Однако тот же процесс подходит для любых списков записей, в которых нужно удалить дубли: контактов, компаний, товаров и т. д.

Как найти дубли лидов

Для начала импортируйте базу лидов в Datablist.

В Datablist данные организованы в коллекции. Каждая коллекция содержит список записей с общей моделью данных. Лиды необходимо импортировать из внешнего файла. Datablist поддерживает файлы CSV и Excel. Нажмите Import CSV/Excel и выберите файл со списком лидов.

Нажмите +, чтобы создать новую коллекцию. Укажите её название (и выберите значок 🚀). Также на главном экране можно нажать Start with a CSV/Excel file.

Затем перейдите на экран Properties. Здесь отображаются столбцы, обнаруженные при обработке CSV-файла. Datablist анализирует каждый столбец и определяет подходящий тип данных. Например, email-адреса и URL распознаются автоматически.

При необходимости выберите тип данных вручную. Отключите импорт для столбцов CSV, которые не нужно загружать.

На следующем этапе импорта появится предварительный просмотр содержимого файла. Нажмите Import {x} items, чтобы запустить импорт.

Если лиды находятся в нескольких файлах, импортируйте их в одну коллекцию и сопоставьте одинаковые столбцы с одними и теми же свойствами. Перед объединением файлов добавьте столбец Source System и сохраните исходные идентификаторы контактов. Идентификатор из CRM A нельзя считать эквивалентным идентификатору из CRM B.

Для начала я бы сопоставлял людей по подходящему идентификатору — например, личному email или URL профиля. Не используйте только исходный ID, если в каждой базе действует собственная система идентификаторов. При работе со списком компаний применяйте идентификаторы компаний: одинаковый домен ещё не означает, что все сотрудники — один и тот же лид.

После загрузки лидов откройте Clean > Merge duplicates.

Чтобы начать дедупликацию, выберите способ сравнения лидов. Доступны два режима:

• All Properties сравнивает строки лидов целиком.
• Selected Properties сравнивает поля, по которым можно идентифицировать лид.

Примечание — в Datablist термин «Property» означает то же, что поле или столбец в других системах.

Для дедупликации лидов выберите Selected Properties.

Выберите поля, идентифицирующие сущность, для которой нужно найти дубли. Общий адрес вроде sales@example.com может принадлежать нескольким контактам. Одинаковое имя также может объединить в одну группу разных людей.

Для сравнения email осознанно выбирайте процессор. В руководстве по дедупликации email объясняется, когда полезна нормализация адресов, а когда псевдонимы и общие почтовые ящики требуют ручной проверки. Начните со строгих условий сравнения, проверьте полученные группы и лишь затем расширяйте критерии — если найденные записи действительно относятся к одной сущности.

Если вы сопоставляете поля с именем и компанией, сначала изучите дедупликацию по нескольким столбцам: состав групп зависит от алгоритмов отдельных полей и итоговой оценки совпадения.

Настройте алгоритм и процессор для каждого выбранного свойства, затем нажмите Run duplicates check.

Важно

• Анализ выполняется только в режиме чтения. Данные не изменятся до следующего этапа, на котором вы запустите объединение лидов.
• При сравнении текста алгоритм Exact по умолчанию не учитывает регистр. Включите Case sensitive, если регистр должен различать выбранные текстовые значения. Например, при этой настройке ABC-123 и abc-123 будут считаться разными значениями.

Как автоматически удалить дубли лидов

Выберите Merge and preserve data. Datablist заполнит пустые поля данными из дополняющих записей, а затем покажет конфликтующие свойства, для которых нужно задать правило.

Для каждого конфликта можно объединить уникальные текстовые значения, сохранить значение выбранного лида или применить правило сохранения поля. Настройте Record to keep так, чтобы сохранить нужную запись из CRM или исходной системы.

В предварительном просмотре показано, какие значения будут заполнены, объединены, сохранены или удалены. Проверьте результат перед обработкой групп со статусом Ready. Группы со статусом Needs review останутся без изменений.

Пример: сохраняем ID контакта и объединяем заметки

Эти условные строки относятся к одному человеку. У контакта из CRM есть идентификатор, который нужно сохранить, а в выгрузке с мероприятия содержатся дополнительные сведения.

В качестве сохраняемой выберите запись из CRM. Заполните пустое поле телефона, при необходимости объедините обе разные заметки, а после проверки конфликта статусов сохраните значение Квалифицирован. Ожидаемый результат:

Для последующей сверки сохраните копии обеих исходных строк вместе с их ID. Не объединяйте идентификаторы контактов в одно значение и не импортируйте его в поле ID вашей CRM.

Сначала выберите сохраняемую запись, затем разберите поля

Параметр Record to keep определяет, какая запись Datablist сохранится. Правило Most Complete выбирает запись с наибольшим количеством заполненных полей, но это не всегда нужный контакт из CRM. Доступность дополнительных правил выбора зависит от вашего тарифа. Если ни одно автоматическое правило не позволяет надёжно выбрать нужный контакт, проверьте группу вручную.

Для каждого конфликтующего свойства определите назначение поля:

• Заметки или дополнительные контактные данные: объедините разные текстовые значения, если важно сохранить их все.
• ID CRM, ответственные менеджеры или ссылки на аккаунты: после проверки сохраняемой записи оставьте одно корректное значение. Если удалить конфликт без такого решения, можно нарушить связь с исходной системой.
• Статус: выберите значение, соответствующее вашим бизнес-правилам. У записи с большим числом заполненных полей не обязательно правильный статус продаж.
• Даты активности: при выборе последней активности сравнивайте даты в соответствующем бизнес-поле. Правило поля Most recently updated ориентируется на дату изменения записи в Datablist, а не на дату активности, указанную в столбце.

Режим Merge and preserve data заполняет дополняющие поля и применяет настроенные правила разрешения конфликтов. Режим Remove duplicates оставляет выбранную запись без изменений и удаляет остальные. Используйте второй вариант, только если в удаляемых строках нет нужных данных.

Проверьте в предварительном просмотре, какие значения будут удалены. После проверки обработайте группы Ready, а группы Needs review оставьте для ручного решения. Чтобы не потерять полезную информацию, иногда лучше не объединять группу, пока вы не определите, какое значение является верным.

Как вручную объединить оставшиеся дубли лидов

Используйте Merging Assistant в Datablist, чтобы вручную объединить оставшиеся дубли лидов.

Откройте оставшиеся группы дублей и проверьте записи с неразрешёнными конфликтами.

Слева от каждой группы дублей находится кнопка Manual Merging assistant, которая открывает Merging Assistant.

Откроется инструмент объединения. Справа Datablist выбирает запись с наибольшим количеством данных как «Primary item». Оставшиеся дубли слева обозначаются как «Secondary Items».

Когда это возможно, значения свойств из Secondary Items автоматически выбираются для переноса в Primary item. Если несколько значений конфликтуют, вам потребуется решить, какое из них сохранить.

Если итоговая запись Primary item вас устраивает, нажмите Merge, чтобы подтвердить объединение. Все Secondary Items будут удалены, а в списке останется одна объединённая запись лида.

Кроме того, прямо в этом списке можно редактировать или удалять дубли лидов.

Как обновить CRM очищенным списком лидов

Как обработать несколько значений в одной ячейке

Datablist объединяет значения в одной ячейке. Поэтому в итоговом списке может оказаться несколько значений, разделённых указанным символом.

Например, объединённое поле телефона может содержать +1 202 555 0147;+1 202 555 0182. Если целевая система допускает только один номер в каждом поле, перед импортом разделите данные на Phone 1 и Phone 2. Сохраняйте исходное объединённое поле, пока не проверите результат.

Выполнить такое преобразование можно несколькими способами:

• Использовать функцию Split Property в Datablist, чтобы создать из нескольких значений отдельные свойства.
• Запустить скрипт непосредственно в Datablist и разделить значения программно.
• Экспортировать список лидов в Excel и обработать его в Excel или Google Sheets.

Если вместо нескольких столбцов вам нужна отдельная строка для каждого номера телефона или email, обработайте объединённый файл с помощью CSV Rows Splitter.

Как разделить несколько значений с помощью Split Property

В Datablist есть встроенный инструмент, который разделяет текст из одного свойства и записывает части в новые свойства. Он отлично подходит для обработки объединённых результатов дедупликации.

Чтобы открыть инструмент, нажмите Split Property в меню Edit.

Выберите свойство с несколькими значениями и укажите тот же разделитель, который использовался при объединении.

Последняя настройка определяет количество создаваемых частей. Задайте достаточно выходных полей для максимального числа значений, которые планируете сохранить. Перед обработкой проверьте строки, где значений больше, чем выбранных выходных полей.

Перед обработкой данных Datablist покажет предварительный результат. Убедитесь, что значения разделены правильно, а затем нажмите Split Property, чтобы обработать все данные.

После обработки исходное свойство не изменится, а разделённые значения будут записаны в новые свойства. Переименуйте их в соответствии со столбцами импорта вашей CRM.

Разделение значений в Datablist с помощью JavaScript

Для более сложного разделения или дополнительной обработки в Datablist есть мощный инструмент для запуска JavaScript-кода над данными. С его помощью текст можно разделить между несколькими свойствами.

Сначала создайте дополнительные свойства для хранения значений, если их ещё нет. Например, добавьте свойства Phone 2, Phone 3 или Email 2, Email 3, в каждом из которых после разделения будет храниться одно значение.

Затем нажмите Run Javascript в меню Edit, чтобы открыть редактор скриптов.

Адаптируйте приведённый ниже скрипт под свои свойства:

function runOnItem(item){
  if(!item.phone) return null;

  var parts = item.phone.split(';');

  if(parts.length===1) return null;

  return {
    phone1: parts[0],
    phone2: parts[1]
  }
}

Примечание: обрабатывайте каждое объединённое свойство отдельно. Если одно свойство содержит номера телефонов, а другое — email-адреса, сначала обработайте скриптом телефоны, а затем запустите второй скрипт для email.

Ниже приведён пример кода, который разделяет содержимое свойства с ключом phone1. В качестве разделителя используется точка с запятой, а полученные номера телефонов записываются в два свойства: phone1 и extraphone.

Если у вас возникнут вопросы по написанию скрипта, свяжитесь с нами.

Сверка очищенного файла с исходными базами данных

Объединение в Datablist изменяет импортированную коллекцию. Оно не обновляет и не удаляет автоматически соответствующие записи во внешних базах данных. Сверку с ними нужно подготовить отдельно.

Экспортируйте ID сохранённой исходной записи вместе со значениями, которые собираетесь обновить. Для каждой удалённой исходной записи определите, что требуется целевой системе: обновление, операция объединения или удаление. Соблюдайте правила импорта и объединения этой системы, особенно в отношении связанных активностей и аккаунтов.

На платных тарифах можно скачать список изменений при объединении, включающий прежние и итоговые значения. Используйте его вместе с исходной выгрузкой. Перед обработкой всего файла протестируйте обновление целевой системы на небольшой группе записей.

Как экспортировать группы дублей в Excel или CSV

На любом этапе дедупликации можно экспортировать оставшиеся дубли. Datablist экспортирует данные в Excel или CSV-файлы.

Экспорт пригодится, если вы хотите вручную очистить дубли в Excel или передать эту задачу внешнему подрядчику.

FAQ: дедупликация лидов

Что такое дублирование лидов?

Дублирование лидов возникает, когда несколько записей относятся к одному человеку или компании. Дедупликация находит такие записи и помогает решить, нужно ли их сохранить, удалить или объединить. При этом несколько сотрудников одной компании не обязательно являются дублями.

Как удалить дубли из списка лидов?

Выберите идентификатор, подходящий для вашей сущности, запустите поиск дублей и проверьте группы до применения изменений. Затем определите сохраняемую запись и задайте правило для каждого конфликтующего поля. Для общих почтовых ящиков и похожих имён требуется больше контекста, чем простое сравнение на равенство.

Как объединить дубли лидов из нескольких баз?

Экспортируйте нужные поля и исходные ID из каждой базы, добавьте обозначения источников и сопоставьте эквивалентные поля в одной коллекции Datablist. Сравните записи по идентификаторам человека или компании, разрешите конфликты и экспортируйте ID сохранённых записей вместе с очищенными значениями. Затем отдельно синхронизируйте результат с каждой исходной базой.

Перед настройкой правил объединения изучите критерии дедупликации лидов. Сначала нужно определить, относятся ли две записи к одному лиду, и только затем решать, какие конфликтующие значения сохранить.

Можно ли объединить все свойства лидов?

Текстовые значения можно объединять с помощью разделителя. Для таких полей, как статус, число, дата или ID CRM, обычно нужно выбрать одно значение. Если объединять все конфликты подряд, может получиться файл, который целевая система не сможет корректно импортировать.

Как сохранить несколько номеров телефона?

Объедините уникальные номера в текстовом поле, а затем разделите его на столбцы, которые ожидает CRM. Проверьте разделитель и необходимое количество столбцов. Подробнее см. выше в разделе обработки нескольких значений.

Нужно ли обрабатывать все группы сразу?

Нет. Можно обработать уже проверенные группы, а сомнительные совпадения оставить без изменений. Начните с очевидных дублей, затем переходите к неоднозначным группам. Предварительный просмотр и список оставшихся групп позволяют отделить спорные решения от подтверждённых.

Сколько времени занимает дедупликация?

Время зависит от размера списка, настроек сравнения, ресурсов браузера и количества конфликтов, требующих проверки. Автоматический поиск и ручное разрешение конфликтов — это отдельные этапы. Перед применением изменений сохраните исходную выгрузку и не ориентируйтесь на обещания обработать данные за определённое число секунд.

Подключается ли этот процесс напрямую к CRM?

В этом руководстве используются выгрузки CSV или Excel. Импорт этих файлов в Datablist не создаёт активного подключения к CRM. До загрузки очищенных результатов проверьте требования целевой системы к обновлению записей по ID, удалению дублей и сохранению связей.

После импорта в целевую систему сравните новую выгрузку CSV с исходной по ID источника. Проверьте изменённые значения, а также неожиданно добавленные или удалённые записи, прежде чем считать обновление завершённым.