여러 Excel 또는 CSV 파일의 중복을 제거하려면 각 파일을 별도의 Datablist collection에 저장하고, 동일한 레코드를 식별할 properties를 매핑한 다음 collection끼리 비교합니다. 이후 기준 목록은 그대로 유지하면서 새로 들어온 목록에서 일치하는 행만 제거할 수 있습니다.
이 workflow는 CRM에서 내보낸 파일과 신규 잠재고객 파일을 비교할 때 유용합니다. 즉, “어떤 잠재고객이 이미 CRM에 등록되어 있는가?”라는 구체적인 질문에 답할 수 있습니다.
자동 작업은 merge가 아닌 suppression 방식입니다. 선택한 collection에서 일치하는 레코드를 제거하며, 해당 레코드의 고유한 값을 다른 collection으로 복사하지는 않습니다.
이 가이드에서는 각각 250개 행으로 구성된 CSV 파일 2개를 실제로 테스트합니다.
| Collection | 용도 | 작업 전 행 수 | 일치 기준 property |
|---|---|---|---|
CRM Export | 유지할 기준 목록 | 250 | Email |
Event Registrations | 정리할 신규 목록 | 250 | Attendee Email |
두 파일에는 의도적으로 목록 간 중복 레코드 100개가 포함되어 있습니다. Event Registrations에서 일치하는 레코드를 제거하면 완전히 새로운 이벤트 연락처 150개가 남습니다.
이 예시에서는 이메일을 기준으로 비교합니다. 이메일이 누락되었거나 연락처 식별자가 여러 개인 목록이라면, 어떤 일치 항목을 안전하게 제외할 수 있는지 결정하기 전에 Lead 중복 제거 가이드를 확인하세요.
예제 파일 2개 다운로드
아래 파일로 테스트를 재현할 수 있습니다.
두 파일의 헤더는 의도적으로 다르게 구성했습니다. CRM에서는 Email, First Name, Last Name을 사용하고, 이벤트 파일에서는 Attendee Email, Attendee First Name, Attendee Last Name을 사용합니다. Collection 간 property 매핑을 활용하면 각 파일의 기존 구조를 그대로 유지할 수 있습니다.
테스트 데이터에는 이메일 표기 방식과 alias가 서로 다른 사례도 포함되어 있습니다. 따라서 단순한 완전 일치 비교보다 Email processor를 적용한 Smart matching이 더 효과적입니다.
각 파일을 별도 collection으로 가져오기
Datablist를 열고 각 CSV 또는 Excel 파일을 개별 collection으로 가져옵니다. 정리 규칙을 쉽게 검증할 수 있도록 각 collection의 역할에 맞는 이름을 지정하세요.
이 테스트의 첫 번째 collection은 CRM 기준 목록입니다. 250개 레코드가 들어 있으며 변경하지 않고 유지해야 합니다.
두 번째 collection은 새로 들어온 이벤트 목록이며, 마찬가지로 250개 레코드로 시작합니다.
가져오는 과정에서 property type을 확인하세요. 두 이메일 열 모두 Email type으로 설정합니다. External ID, 이름, 전화번호 및 기타 필드는 일치 여부가 불분명한 항목을 검토할 때 도움이 되므로 유지하세요.
레코드 식별 property 매핑하기
신규 목록인 Event Registrations collection을 엽니다. Clean > Match across collections를 선택하세요.
***Check duplicate items across several collections?***를 활성화하고 CRM Export를 추가합니다.
이벤트 collection에서 Attendee Email을 선택한 뒤 CRM collection의 Email에 매핑하세요.
열 이름보다 중요한 것은 신뢰도 높은 식별자입니다. 다음과 같은 항목을 사용할 수 있습니다.
- 연락처는 이메일 주소
- 두 파일에서 호환되는 국가 코드를 사용하는 경우 전화번호
- 잠재고객 목록은 LinkedIn URL
- 기업은 웹사이트 도메인
- 제품은 SKU 또는 기타 변하지 않는 식별자
이름만으로 일치 여부를 판단하지 마세요. 이름이 같은 사람은 흔히 존재합니다.
여러 properties를 선택하면 Datablist가 각 항목의 점수를 합산해 평가합니다. 이메일과 전화번호를 서로 독립적으로 확인하려면 각각 별도로 검사를 실행하세요. Match on empty value를 사용하면 두 레코드에서 모두 비어 있는 properties도 100%로 계산되어 평균 점수가 높아질 수 있습니다. 그룹을 제외하기 전에 값이 입력된 식별자와 빈 값 점수 계산 예시를 확인하세요.
비교 방식 설정하기
반드시 동일해야 하는 고정 ID에는 Exact를 사용하세요. 이메일에는 Email processor와 함께 Smart를 선택합니다.
Email processor는 원본 셀을 변경하지 않으면서 지원되는 이메일 표기 변형을 표준화해 비교합니다. 이메일 관련 동작과 제한 사항은 이메일 주소와 alias 중복 제거 전용 가이드에서 확인할 수 있습니다.
두 데이터 소스와 item 수, 매핑된 properties, 비교 설정을 검토한 후 Run duplicates check를 클릭하세요.
여러 목록의 중복 일치 항목 검토하기
이 테스트에서는 레코드 500개를 검사해 collection 간 중복 그룹 100개를 찾았습니다.
Collection 간 비교 모드에서는 둘 이상의 collection에 속한 레코드가 포함된 그룹만 표시합니다. CRM Export 내부에서만 발견된 중복이나 Event Registrations 내부에서만 발견된 중복은 건너뜁니다.
삭제하기 전에 각 그룹을 검토하세요.
- 매핑된 식별자가 동일한 사람 또는 기업을 나타내는지 확인합니다.
- 신규 행에 고유한 데이터가 있는지 확인합니다.
- 어느 collection이 기준 목록인지 다시 확인합니다.
- 다른 담당자의 승인이 필요하다면 그룹을 다운로드합니다.
- 삭제가 아니라 데이터 통합이 필요한 개별 그룹에는 Manual Merging Assistant를 사용합니다.
각 파일 내부의 중복도 정리해야 한다면 해당 collection에서 단일 collection용 Duplicates Finder workflow를 별도로 실행하세요.
신규 목록에서 중복 레코드 제거하기
***Remove duplicate items from collection {X}***를 선택한 다음, 정리할 collection으로 Event Registrations를 지정합니다.
Datablist는 처리 전에 작업 결과를 미리 보여줍니다.
Event Registrations에서 일치한 레코드가 제거됩니다.CRM Export는 변경되지 않습니다.- CRM과 일치하지 않는 이벤트 레코드는 유지됩니다.
- 삭제되는 이벤트 레코드에만 존재하는 고유한 값은 사라집니다.
⚠️ 이 작업은 데이터를 CRM에 merge하지 않습니다
이벤트 레코드에 CRM에는 없는 유용한 전화번호, 유입 경로, 동의 항목 또는 메모가 있어도 자동 suppression 과정에서 복사되지 않습니다. 먼저 그룹을 검토하거나 export하세요. 해당 그룹의 데이터를 통합해야 한다면 Manual Merging Assistant를 사용하세요.
Collection이 3개 이상이면 Datablist에서 중복 레코드를 선택한 하나의 collection에만 유지하는 규칙도 사용할 수 있습니다. 이 작업은 여러 데이터 소스의 레코드를 삭제할 수 있으므로 처리 전에 요약 내용을 꼼꼼히 확인하세요.
선택한 collection과 요약 내용이 의도한 작업과 일치한다면 Process duplicate items를 클릭합니다.
이번 테스트에서는 collection 간 중복 그룹 100개가 모두 처리되었습니다. 이후 결과 화면에는 남은 그룹이 0개로 표시되었습니다.
중복 제거 결과 검증하기
Event Registrations로 돌아갑니다. 이제 이 collection에는 150개 item이 남아 있습니다.
행 수를 계산하면 다음과 같습니다.
신규 행 250개 - CRM과 일치한 연락처 100개 = 완전히 새로운 행 150개
Export하기 전에 다음 사항을 확인하세요.
CRM Export에 여전히 250개 item이 있는지 확인합니다.Event Registrations에 150개 item이 있는지 확인합니다.- CRM에 등록된 것으로 알고 있는 이메일 주소 몇 개가 이벤트 목록에서 사라졌는지 확인합니다.
- 일치하지 않은 이벤트 연락처가 유지되었는지 확인합니다.
- 작업을 되돌려야 할 경우를 대비해 처리 내역이 History에 표시되는지 확인합니다.
정리된 이벤트 collection을 CSV 또는 Excel로 export하세요. 이제 CRM에 이미 저장된 연락처를 다시 가져오지 않고 net-new Lead workflow에 바로 활용할 수 있습니다.
여러 collection 중복 제거의 한계
Collection 간 matching은 여러 파일을 merge하는 작업보다 목적이 명확하고 범위가 좁습니다.
- 자동 처리에서는 레코드를 제거할 뿐, 여러 collection의 필드를 통합하지 않습니다.
- 하나의 collection 내부에만 존재하는 중복은 건너뜁니다.
- 선택한 모든 comparison property를 각 collection에 매핑해야 합니다.
- 선택한 properties의 일치 여부는 합산 점수와 빈 값 설정에 따라 달라집니다.
- Smart, fuzzy, phonetic matching은 사람이 직접 검토해야 하는 후보를 반환할 수 있습니다.
- Collection 간 matching에는 유료 플랜이 필요합니다.
Suppression 목록, CRM import 검사, 이벤트 Lead 정리, 캠페인 타깃 제외처럼 하나의 목록을 단일 기준 정보로 유지해야 하는 workflow에 이 방법을 활용하세요.
중복 제거 전에 여러 파일을 하나의 표로 합쳐야 한다면 스프레드시트 merge 가이드를 참고하세요. 하나의 collection에서 서로 보완되는 값을 유지해야 한다면 단일 목록용 데이터 손실 없이 중복 Lead merge하기 workflow를 사용하세요.