Как массово объединить дубликаты в Pipedrive: гайд

Чтобы массово объединить дубликаты в Pipedrive с помощью Datablist, импортируйте People или Organizations, найдите группы возможных дублей по надёжному ключу, проверьте основную запись и конфликтующие значения, а затем синхронизируйте подтверждённые изменения с Pipedrive. Сохраните копию экспортированного файла изменений, чтобы впоследствии проверить получившиеся записи.

В Pipedrive уже есть функция Merge Duplicates, поэтому начать стоит с неё. Согласно правилам сопоставления, система ищет совпадение имени контакта вместе с email, телефоном или организацией либо названия организации вместе с адресом. Из-за этого записи могут остаться незамеченными, если названия компаний различаются или оптимальным ключом для сопоставления служит сайт.

В этом руководстве мы используем Datablist: сначала проверяем совпадения по email или сайту, а затем при необходимости — по схожести названий компаний. После проверки того, какая запись должна остаться, вы сможете экспортировать изменения и применить их в Pipedrive.

Если каждая исходная запись должна остаться отдельной, вместо слияния строк унифицируйте значения полей. Выполняйте такое обновление полей отдельно от описанных ниже операций слияния в Pipedrive.

Если встроенные правила сопоставления не подходят для ваших данных, Duplicates Finder в Datablist предложит дополнительные ключи поиска и варианты разрешения конфликтов. Процесс состоит из трёх шагов, после которых мы сравним его со встроенным поиском Pipedrive:

1. Импортируйте People и/или Organizations из Pipedrive в Datablist
2. Найдите и объедините дубликаты с помощью продвинутых алгоритмов
3. Массово синхронизируйте результаты слияния с Pipedrive
4. Ограничения встроенного объединения дубликатов в Pipedrive

Шаг 1. Импорт контактов Pipedrive

Сначала импортируйте данные Pipedrive в Datablist. Храните People и Organizations в разных коллекциях, чтобы при каждом запуске использовались подходящие идентификаторы и поля сопоставления.

1. Создайте новую коллекцию Datablist

Коллекция в Datablist похожа на электронную таблицу, в которой можно хранить и очищать данные. В каждой коллекции будут находиться либо контакты Pipedrive (People), либо компании (Organizations).

• Если нужно удалить дубликаты People, создайте коллекцию для People.
• Если нужно удалить дубликаты Organizations, создайте коллекцию для Organizations.
• Если требуется очистить оба типа данных, создайте две отдельные коллекции: одну для People, другую для Organizations.

2. Выберите “Source → Pipedrive”

Datablist подключается напрямую к вашему аккаунту Pipedrive через API.

В коллекции Datablist откройте Import → выберите Source → нажмите Pipedrive. Также можно перейти по ссылке "See all sources" на стартовом экране коллекции.

3. Найдите API-ключ Pipedrive

Система предложит ввести API-ключ Pipedrive.

Для подключения Datablist к вашему аккаунту необходим API-ключ Pipedrive. Откройте настройки API Pipedrive, скопируйте личный API-ключ и вставьте его в Datablist.

4. Выберите People или Organizations

После подключения укажите, что требуется импортировать:

• Для очистки дубликатов контактов выберите People.
• Для очистки дубликатов компаний выберите Organizations.

Примечание: если нужны оба типа данных, импортируйте их по отдельности в две разные коллекции.
Зачем нужны отдельные коллекции? Pipedrive хранит People и Organizations по-разному. Удалить дубликаты сразу в смешанном наборе невозможно. Разделение данных обеспечивает точный результат.

5. Datablist загружает все поля Pipedrive

После выбора People или Organizations Datablist загрузит:

• Стандартные поля Pipedrive (Name, Email, Phone, Website и другие).
• Пользовательские поля, созданные вами в Pipedrive.

Так все данные, необходимые для дедупликации, будут доступны в Datablist.

6. Запустите импорт

Нажмите Import, чтобы начать загрузку данных. Продолжительность импорта зависит от количества записей.

Datablist обработает контакты и подготовит их к дедупликации.

Измените тип данных для URL

В Duplicates Finder от Datablist есть специальные процессоры для Emails, URLs и других типов данных. Если в наборе есть сайты, измените тип соответствующего свойства на URL.

Несколько email и телефонных номеров

Если у контакта в Pipedrive указано несколько email или телефонных номеров, они объединяются в одном поле через точку с запятой ;.

Пример:

• В Pipedrive у John Doe указаны два email: john@company.com и j.doe@gmail.com.
• В Datablist запись выглядит так: Email: john@company.com;j.doe@gmail.com

Благодаря этому Datablist корректно обрабатывает несколько значений при дедупликации.

Если после экспорта очищенного файла вам понадобится разместить каждый email или телефон на отдельной строке CSV, воспользуйтесь инструментом CSV Rows Splitter.

После завершения импорта данные готовы к дедупликации. Далее мы найдём дубликаты с помощью продвинутых методов сопоставления.

Шаг 2. Поиск дубликатов People и Organizations

Теперь, когда контакты или организации из Pipedrive загружены в Datablist, пора найти дубликаты. В отличие от встроенного инструмента Pipedrive, Datablist применяет продвинутые алгоритмы сопоставления и находит похожие записи, даже если имена немного различаются или контактные данные заполнены не полностью.

Вот как это сделать:

1. Откройте Duplicates Finder и выберите поле дедупликации

В коллекции Datablist откройте Clean → Duplicates Finder.

Поле дедупликации — это поле, по которому Datablist будет искать дубликаты. Оптимальный вариант зависит от типа данных:

• Для People: используйте Email как самый надёжный вариант или Name, если email отсутствуют либо заполнены непоследовательно.
• Для Organizations: используйте Website как основной вариант или Name, если сайта нет.

💡 Пример:

• Если для Google существуют две записи — Google LLC и Google, — Datablist распознает их как дубликаты благодаря схожести названий.

2. Запустите дедупликацию

Для наилучшего результата не объединяйте все записи за один раз. Выполняйте дедупликацию в несколько проходов:

1️⃣ Первый проход: сопоставьте записи по Email для People или по Website для Organizations. Так вы найдёте очевидные дубликаты. 2️⃣ Второй проход: сопоставьте записи по Name для People или Organizations, чтобы обнаружить дубли, которые относятся к одной сущности, но содержат разные email.

🔹 Зачем нужны два этапа?

• При одновременном сопоставлении по Email + Name небольшие различия в именах, например "John Doe" и "Johnathan Doe", могут помешать найти совпадение.
• Первый проход по Email позволяет сначала безопасно обработать точные совпадения и избежать ошибок.

Особенности обработки нескольких email и названий компаний

Некоторые поля Pipedrive, например Emails и Phones, могут содержать несколько значений.

Если вы выполняете дедупликацию по полям Emails или Phones, где несколько значений разделены символом ;, включите в Datablist режим "Multiple Values". Тогда запись с john@company.com; j.doe@gmail.com будет корректно сопоставлена с другой записью, в которой указан только john@company.com.

Для дедупликации по названиям компаний в Datablist Duplicates Finder предусмотрен отдельный процессор, который учитывает организационно-правовые формы и лишние слова.

Если вы выполняете дедупликацию по сайтам, используйте процессор URL.

3. Проверьте найденные дубликаты и конфликты

После завершения сканирования Datablist объединит потенциальные дубликаты в группы.

• Вы увидите кластеры похожих People или Organizations. Мы называем их Duplicate Groups.
• Для каждой группы будет указано, по какому признаку совпали записи — email, имени или сайту — и есть ли между ними конфликтующие данные.

3.a. Разберитесь с группами дубликатов

В каждой группе находятся несколько записей, которые считаются одной сущностью.

• Некоторые группы можно объединить автоматически, поскольку данные в них совпадают или дополняют друг друга.
• Другие требуют ручной проверки из-за конфликтующей информации.

💡 Пример:

• Если две записи John Doe содержат одинаковый email, но разные телефонные номера, Datablist распознает их как дубликаты, а номер телефона отметит как конфликтующее поле.

3.b. Настройте правила слияния конфликтующих значений

Что такое конфликты

Конфликт возникает, когда у дублирующихся контактов в одном поле указаны разные значения. Например, у двух записей могут различаться должности или номера телефонов. Datablist выделяет такие конфликты, чтобы вы могли решить, какое значение сохранить.

Как разрешать конфликты

Datablist предлагает понятный интерфейс для быстрого разрешения конфликтов и помогает поддерживать чистоту и точность данных.

• Combine Values: объедините значения, если они дополняют друг друга, например несколько телефонных номеров или примечаний.
• Keep One Value and delete the others: если одна запись явно полнее остальных и другие значения нужно отбросить, выберите "Drop conflicting values...".

В настройках Combine conflicting values и Drop conflicting values есть быстрая ссылка, которая автоматически выбирает все конфликтующие свойства.

Выберите основную запись

Вы также можете настроить выбор основной записи. При объединении дубликатов Datablist сохраняет одну запись, обновляет её поля и удаляет остальные, чтобы в итоге осталась только одна запись.

Для выбора Master Record доступны следующие правила:

• Most Complete: выбирает запись с наибольшим количеством заполненных полей.
• Last Updated: выбирает запись, изменённую последней.
• First Created: выбирает самую старую запись по дате создания.
• Highest Value: выбирает запись с максимальным значением выбранного свойства. Если у нескольких записей значения совпадают, будет выбрана самая новая.
• Lowest Value: выбирает запись с минимальным значением выбранного свойства. Если у нескольких записей значения совпадают, будет выбрана самая новая.
• Matching Value: выбирает запись, содержащую заданное значение в выбранном свойстве. Если подходящей записи нет, группа не будет объединена.

Datablist показывает предварительный список планируемых изменений. В нём видно, какие записи будут удалены, какие значения — объединены и так далее.

После настройки правил слияния нажмите "Refresh", чтобы обновить предварительный просмотр.

🔹 Пример: объединение двух контактов

Ниже показан результат применения правил слияния:

• Drop Conflicting values для поля Name.
• Combine Conflicting values для поля Phone.

3.c. Автоматически объедините дубликаты

Если результат предварительного просмотра вас устраивает, нажмите "Auto-merge duplicates when possible". Datablist применит правила слияния ко всем группам дубликатов.

3.d. Скачайте файл изменений

⚠️ Этот файл изменений НЕОБХОДИМ, чтобы объединить и обновить записи в Pipedrive CRM.

Шаг 3. Массовая синхронизация с Pipedrive

Дубликаты в Datablist объединены. Осталось синхронизировать очищенные данные с Pipedrive, чтобы информация в CRM была актуальной.

Для этого воспользуемся Changes File, скачанным на предыдущем этапе (см. раздел 3.d. Скачайте файл изменений). В нём перечислены все объединённые записи, удалённые дубликаты и обновлённые поля.

В Changes Log содержатся:

✅ Updated Records → изменённые контакты или организации, например записи с объединёнными email, номерами телефонов или именами. В файле представлены прежние и новые данные. ✅ Deleted Records → дубликаты, объединённые с основной записью. Для них указаны id удалённой записи и id заменившей её основной записи. Эти записи необходимо удалить из Pipedrive.

3.a. Импортируйте Changes File в новую коллекцию

Чтобы применить изменения в Pipedrive, создайте новую коллекцию и загрузите в неё Changes File.

В результате вы получите коллекцию с операциями слияния.

3.b. Объедините и удалите дубликаты

Сначала необходимо передать Pipedrive команду объединить "удаляемые" записи с "основными".

В Pipedrive есть API для слияния, который позволяет объединять дублирующиеся записи. Мы воспользуемся им.

Технически API Pipedrive работает так:

• Для Organizations используется endpoint /organizations/:id/merge.
• Для People используется endpoint /persons/:id/merge.
• Дублирующаяся запись удаляется, а её данные переносятся в основную.

💡 Пример API-запроса:

PUT https://api.pipedrive.com/v1/persons/{duplicate_id}/merge?api_token=YOUR_API_KEY
{
  "merge_with_id": "{master_record_id}"
}

🔹 Зачем использовать Merge API?

• Все связанные сделки, активности и заметки останутся привязанными к основной записи.
• Неконфликтующие данные, например дополнительные телефоны или email, сохранятся автоматически.

Не беспокойтесь: в Datablist есть встроенный enrichment, который вызывает этот endpoint Pipedrive за вас.

Сначала отфильтруйте только строки, у которых операция в поле change имеет значение deleted.

Затем в меню Enrich выберите Pipedrive Merge Duplicates.

Перед запуском enrichment Pipedrive Merge Duplicates убедитесь, что в столбце change отображается только значение deleted.

Введите API-ключ Pipedrive и выберите тип сущности Pipedrive для слияния.

Затем в разделе Inputs сопоставьте Pipedrive Object Id to Merge с полем Previous Pipedrive Person Id.

Для Pipedrive Object to merge with выберите соответствие с полем Destination Pipedrive Person Id.

После этого запустите процесс слияния.

Следить за его выполнением можно непосредственно в Datablist.

Статус слияния отображается для каждой строки коллекции.

Вы можете проверить запись Pipedrive, которая будет удалена. Откройте её страницу — для People используется URL https://app.pipedrive.com/person/:ID. В верхней части экрана появится уведомление.

В основных записях также будут видны объединённые данные.

3.c. Синхронизируйте обновлённые записи с Pipedrive

На предыдущем этапе мы использовали Merge API Pipedrive, чтобы объединить дубликаты с основной записью.

Однако при таком слиянии Pipedrive добавляет значения из дубликата в основную запись. В результате в ней может появиться несколько похожих сайтов и другие повторяющиеся значения.

Чтобы исправить это, обновим оставшиеся основные записи чистыми данными, полученными после слияния в Datablist.

В той же коллекции Changes File отфильтруйте столбец change, оставив только операции updated.

Затем нажмите Export → Send to external tool.

Выберите Sync with Persons/Organizations in Pipedrive.

Введите API-ключ Pipedrive и выберите обновляемую сущность — People или Organizations.

Выберите поле ID и поля, которые нужно заполнить очищенными значениями.

Важно: обязательно выберите поле ID, чтобы обновить существующие данные, а не создать новые записи.

В этом примере обновляется только поле сайта, поэтому выбираем ID и Website.

В разделе Inputs сопоставьте значения с полями Destination XX.

Настройте Outputs, чтобы получать статус обновления.

Затем запустите процесс.

Проверить результат можно в разделе Changelog соответствующей записи Pipedrive.

3.d. Проверьте объединённые записи в Pipedrive

Готово! Вы успешно: ✅ Импортировали данные в Datablist. ✅ Нашли и объединили дубликаты с помощью умных алгоритмов. ✅ Синхронизировали очищенные данные с Pipedrive.

Проверьте в Pipedrive несколько итоговых записей, особенно те, в которых были конфликтующие поля. Прежде чем считать массовую обработку завершённой, убедитесь, что ожидаемые активности и контактные данные сохранились и привязаны к нужным записям.

Ограничения встроенного поиска дубликатов Pipedrive

Встроенный инструмент Pipedrive удобен для дублей, соответствующих опубликованным правилам сопоставления. Datablist стоит использовать, когда нужно сравнить записи по другому ключу или проверить группы перед массовым слиянием.

1. Ключи сопоставления

Для People Pipedrive учитывает имя вместе с email, телефоном или организацией. Для Organizations система сопоставляет название и адрес. Один и тот же сайт сам по себе не относится к документированным критериям. В Datablist можно сначала проверить People по email или Organizations по сайту, а затем отдельно изучить возможные совпадения по имени или названию. Не объединяйте двух людей только потому, что они работают в одной организации или имеют распространённое имя.

2. Проверка большой группы записей

Pipedrive формирует список потенциальных дубликатов контактов для проверки. Описанный здесь процесс Datablist позволяет изучить группы и экспортировать файл изменений, а затем запустить слияние Pipedrive только для выбранных строк. Проверьте предварительный результат и протестируйте процесс на небольшой выборке, прежде чем массово объединять записи.

3. Конфликты полей

Datablist позволяет выбрать основную запись и заранее увидеть, как будут обработаны конфликтующие значения. Подтвердите эти настройки до слияния в Pipedrive. Во время слияния Pipedrive может добавить значения из дубликата в итоговую запись, поэтому при необходимости задайте окончательные очищенные значения на последующем этапе синхронизации.

4. Сохраните файл изменений

Перед слиянием сохраните экспортированный из Datablist журнал изменений при объединении данных. В нём записаны ID исходных и итоговых записей для этого процесса, что поможет проверить результат и позднее разобраться с отдельными контактами. Такой журнал не заменяет резервную копию данных Pipedrive.

Если встроенные подсказки Pipedrive охватывают все ваши дубликаты, проверьте и объедините их в самой CRM. Если требуется сопоставление по сайту, очистка названий компаний или массовая настройка правил разрешения конфликтов, воспользуйтесь описанным выше процессом Datablist и обязательно проверьте изменения в Pipedrive.