Чтобы безопасно удалить дубликаты строк CSV, выберите столбец, однозначно определяющий запись, проверьте найденные группы, а затем удалите лишние строки или объедините значения, которые нужно сохранить. Этот подход работает как с одним CSV-файлом, так и с несколькими файлами, импортированными в одну коллекцию Datablist.
Для первого прохода используйте email, телефон, сайт компании, SKU или другой стабильный идентификатор. Если значения различаются из-за написания или форматирования, выберите Smart-, нечёткое или фонетическое сопоставление, а сомнительные группы проверьте вручную.
Объединение дубликатов из CSV-файлов
Datablist отлично подходит для операций с данными, которые сложно выполнить в электронных таблицах. Используйте его, если вам нужен удобный онлайн-редактор CSV.
В этом руководстве мы будем работать с двумя CSV-файлами, содержащими тысячи записей. Мы загрузим их в одну коллекцию и удалим дубликаты по одному из четырёх столбцов. Этот же процесс подходит и для одного CSV-файла.
Скачать учебные CSV-файлы: CSV-файл 1 и CSV-файл 2
В загружаемых файлах четыре заголовка: firstname, lastname, email и profession (должность). В первом файле 1 000 строк данных, во втором — 1 003. Всего до дедупликации получается 2 003 строки. Наша задача — объединить записи с одинаковым email.
Если в одной ячейке поля email указано несколько адресов, перед поиском дубликатов разделите ячейки CSV с несколькими значениями на строки. Если исходный экспорт слишком велик для безопасного импорта или проверки, сначала разделите большой CSV-файл на части.
Процесс объединения дубликатов можно свести к четырём шагам:
- Загрузите CSV-файлы в коллекцию Datablist
- Выберите свойства для поиска дубликатов
- Автоматически объедините дубликаты без конфликтов
- Вручную объедините оставшиеся дубликаты
Шаг 1. Загрузите CSV-файлы в коллекцию Datablist
Создайте новую коллекцию
Сначала загрузите CSV-файл в Datablist. Чтобы начать, откройте Datablist — регистрация не требуется.
Чтобы создать коллекцию, нажмите кнопку "New collection" со значком +. Затем задайте название коллекции и выберите значок.
После этого нажмите кнопку Import CSV.
Создайте свойства для CSV-файла
После загрузки CSV-файла можно создать свойства коллекции на основе названий столбцов. Datablist покажет все найденные в CSV столбцы, чтобы для каждого из них можно было создать отдельное свойство.
В CSV-файлах типы столбцов не указываются. Datablist предлагает их на основе импортируемых значений, чтобы упростить сортировку и фильтрацию. Перед импортом обязательно проверьте предложенные типы.
Такие идентификаторы, как SKU, ID аккаунта или почтовый индекс, лучше хранить в формате Text. Например, при преобразовании 00127 в Number начальные нули исчезнут, а ключ сопоставления изменится. Если вы не уверены, какой тип выбрать, изучите руководство по типам свойств.
Проверьте и импортируйте данные
На этапе проверки строки будут показаны в том виде, в котором они записаны в CSV-файле. Убедитесь, что данные отформатированы правильно и единообразно. Затем нажмите кнопку "Import items" — готово! 💪
Повторите импорт для остальных CSV-файлов
Теперь, когда коллекция и её свойства настроены, используйте процесс "Import CSV/Excel", чтобы импортировать в ту же коллекцию остальные CSV- или Excel-файлы.
Шаг 2. Найдите дубликаты
После загрузки CSV-файлов откройте Clean > Merge duplicates. Если лишние строки не содержат нужных данных, выберите Remove duplicates.
Доступны два режима:
- All Properties сравнивает строки целиком.
- Selected Properties сравнивает только столбцы, идентифицирующие запись.
В нашем примере для идентификации контакта достаточно свойства email, поэтому можно выбрать режим Selected Properties и свойство email.
Чтобы получить те же результаты для двух учебных файлов, выберите сопоставление Exact по полю email: система найдёт восемь групп дубликатов, по две строки в каждой. После сведения каждой из восьми групп к одной записи экспортированный CSV должен содержать 1 995 строк данных без учёта заголовка. Если количество отличается, проверьте, что оба файла импортированы только один раз, для сопоставления выбран столбец email, а необработанных групп не осталось.
Если значения различаются из-за алиасов или технических обёрток, воспользуйтесь специальным процессом для email, чтобы удалить дубликаты таких адресов.
Сама проверка не изменяет данные. В рабочей области результатов показаны найденные группы и причины совпадения, а готовые к обработке группы отделены от тех, которые требуют проверки.
Удалите дубликаты строк CSV без объединения
Если нужно только удалить строки, выберите Remove duplicates в рабочей области результатов:
- Проверьте настройку Record to keep. По умолчанию используется правило Most Complete; другие правила выбора записи доступны на платном плане. Выбранная строка останется без изменений.
- Откройте несколько групп и сравните строки, помеченные как Keep и Remove. Убедитесь, что удаляемые строки не содержат нужный номер телефона, примечание или более актуальное значение.
- Если эти данные важны, выберите Merge and preserve data и перейдите к шагу 3. Простое удаление не переносит дополнительные значения в сохраняемую строку.
- Если готовые группы соответствуют вашим ожиданиям, нажмите Remove ready duplicates. Перед подтверждением внимательно прочитайте предупреждение о возможной потере данных.
Например, две полностью одинаковые строки с одним email можно свести к одной. Если email совпадает, а номера телефонов различаются, потребуется выбрать: оставить одну запись без изменений или объединить номера телефонов в итоговой записи.
Сначала выберите столбцы для сопоставления, а уже затем решайте, какую строку сохранить. Режим All Properties находит полностью идентичные строки. Selected Properties может объединить записи одного контакта, даже если должности или номера телефонов различаются. Одного совпадающего сайта компании недостаточно, поскольку в одной организации могут работать несколько контактов.
Сохраните исходные CSV-файлы. После обработки сопоставьте количество удалённых строк с проверенными группами, проверьте сохранённые идентификаторы и экспортируйте очищенную коллекцию в CSV. Строки, ожидающие проверки, могут остаться в коллекции, поэтому завершение одного пакета не означает, что обработаны все возможные дубликаты.
Шаг 3. Автоматически объедините дубликаты
Выберите Merge and preserve data, если дополнительные строки CSV содержат полезные значения. Datablist назначит одну запись итоговой, заполнит пустые свойства и применит заданные правила разрешения конфликтов, прежде чем удалить остальные строки.
В предварительном просмотре готовые группы отделены от групп с неразрешёнными конфликтами. Полное описание проверки, правил сохранения данных и выбора итоговой записи приведено в документации Duplicate Finder.
Разверните раздел Resolve conflicting values, чтобы увидеть свойства, для которых ещё нужно задать правило.
Объединение строк без конфликтов
Алгоритм "Merge non-conflicting duplicates" выполняет «умное объединение» записей с одинаковыми или взаимодополняющими значениями.
Например, следующие дубликаты:
email | Имя | Фамилия
james@gmail.com | James
james@gmail.com | | Bond
Будут объединены в одну строку:
email | Имя | Фамилия
james@gmail.com | James | Bond
Объединение конфликтующих значений
Объединение, или консолидация, значений подходит для случаев, когда дубликаты содержат конфликты, но вы хотите свести их в одну запись без потери данных.
Например, свойство Phone можно объединить с помощью точки с запятой:
email | Phone | Имя | Фамилия
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Результат будет выглядеть так:
email | Phone | Имя | Фамилия
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Объединять можно любые свойства с текстовыми значениями. Доступные разделители: line break, semi-colon, comma и space. В процессе слияния можно объединить одно или несколько свойств.
Объединение записей и их значений отлично подходит для очистки лидов и CRM. Сведите все дубликаты лидов и объедините свойства Phone, Email и Notes, чтобы получить чистый список. После экспорта очищенного CSV просто импортируйте его обратно в CRM.
Сохранение значения выбранной записи
Это правило сохраняет значение из выбранной итоговой записи и отбрасывает остальные конфликтующие значения.
По умолчанию для параметра Record to keep используется правило Most Complete. На платных планах можно выбрать другие правила или независимо определять сохраняемые значения полей с помощью правил survivorship.
Используйте параметр drop conflicting values для следующих данных:
- Технические свойства, например
Account Id, в которых допустимо только одно значение. - Свойства типа "Relation", которые не могут содержать несколько значений, например
Lead ownerилиAccount. - Нетекстовые свойства, которые нельзя объединить, например дата и время (
Last Activity,Contacted on) или чекбоксы.
Шаг 4. Объедините дубликаты вручную
Откройте Review group, если для группы дубликатов требуется ручное решение. В Merging Assistant можно выбрать итоговую запись и отдельно указать сохраняемое значение для каждого свойства.
Итоговая запись, выбранная вручную, сохраняет свой Datablist ID. Остальные строки становятся дополнительными записями.
Проверьте каждое свойство, выберите значения, которые нужно сохранить, и подтвердите объединение. Также можно исключить отдельную строку из группы дубликатов или пропустить всю группу.
При необходимости экспортируйте данные в CSV
Готово — дубликаты в ваших CSV-файлах успешно удалены! Если результат нужно использовать в другом инструменте, нажмите кнопку "Export", чтобы экспортировать коллекцию в новый CSV-файл.
FAQ
Какие ещё операции с данными доступны в Datablist?
CSV-файлы повсеместно используются для хранения структурированных данных программ и наборов данных. Несмотря на широкое распространение формата, работа с CSV часто оказывается сложной и требует технических знаний.
Для простых операций достаточно электронных таблиц. Однако их возможностей не всегда хватает, когда требуется:
Объединение CSV-файлов: если у вас есть несколько CSV-файлов, которые нужно связать по уникальному столбцу, изучите руководство по объединению CSV-файлов.
Может ли Datablist обрабатывать большие CSV-файлы?
Бесплатный план поддерживает до 1 миллиона записей в одной коллекции в хранилище браузера. На платных планах можно импортировать до 2 миллионов записей в коллекцию. Скорость масштабных локальных операций по-прежнему зависит от браузера и устройства. Узнайте, как редактировать большие CSV-файлы.
Чем дедупликация Datablist лучше функций Microsoft Excel и Google Sheets?
В электронных таблицах, таких как Microsoft Excel и Google Sheets, есть инструмент удаления дубликатов. Он просто удаляет похожие строки, что не всегда подходит для бизнес-задач.
Datablist показывает группы дубликатов до внесения изменений в файл. Вы можете удалить лишние строки, объединить взаимодополняющие значения, разрешить конфликты или оставить сомнительные группы без изменений.
Если у вас остались вопросы, свяжитесь с нами.