CRM 내보내기 파일에 폼 제출 데이터나 이벤트 명단을 합치다 보면 이메일 중복이 슬며시 생기기 마련입니다. 같은 사람이 두 번 나타나지만, 두 행의 내용이 완전히 같은 경우는 드뭅니다. 한쪽에는 전화번호가 있고 다른 쪽에는 유입 경로나 유용한 메모가 있을 수 있습니다.
그래서 저는 중복 이메일부터 바로 삭제하지 않습니다. 이메일 주소를 안전하게 중복 제거하려면 Smart matching과 Email processor를 적용한 Datablist Duplicates Finder를 사용합니다. 이메일 변형을 그룹으로 묶은 다음, 연락처의 전체 행을 검토하고 보존할 정보를 선택해 병합할 수 있습니다.
이 가이드에서는 plus alias, Gmail 표기 차이, 래핑된 주소 등 실무에서 자주 접하는 변형을 넣어 1,000개 연락처로 테스트 목록을 만들었습니다. Datablist는 중복 쌍 200개를 찾았고, 정리 후 collection에는 연락처 800개가 남았습니다. 제가 사용한 설정과 병합 전에 확인한 항목을 차례로 살펴보겠습니다.
먼저 이메일을 기준으로 매칭하되, 보존할 정보는 연락처 행 전체를 보고 결정하세요. 이름, 전화번호, 회사 도메인 또는 다른 식별자를 비교해야 한다면 온라인에서 목록 중복을 제거하는 방법을 참고하세요.
Datablist가 같은 이메일 주소로 판단하는 기준
Smart matching과 Email processor는 셀의 원본 텍스트가 아니라 이메일 identity를 비교합니다. 앞뒤 공백을 제거하고 소문자로 변환해 비교하며, 매칭 전에 local part에서 +suffix를 제거합니다.
Gmail 전용 규칙도 적용됩니다. Gmail 주소의 local part에서는 점을 제거하고, googlemail.com은 gmail.com으로 매핑합니다. 표시 이름으로 감싸진 주소나 query string이 붙은 mailto: 값에서도 유효한 주소를 추출할 수 있습니다.
테스트 데이터셋에 포함된 예시는 다음과 같습니다.
| 저장된 값 | Smart Email 결과 |
|---|---|
noraanderson40@demo.conoraanderson40+newsletter@demo.co | plus suffix 제거 후 같은 identity |
victorbennett62@gmail.comvictorb.ennett62@gmail.com | 점 제거 후 같은 Gmail identity |
yasmincarter105@gmail.comyasmincarter105@googlemail.com | 도메인 정규화 후 같은 Gmail identity |
camiladiaz123@testmail.netCamila Diaz <camiladiaz123@testmail.net> | 래핑된 주소 추출 후 같은 identity |
marcusevans199@testmail.netmailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello | 래퍼 제거 및 소문자 비교 후 같은 identity |
Gmail의 점 처리 규칙은 Gmail에만 적용됩니다. Datablist는 first.last@company.com과 firstlast@company.com을 같은 주소로 간주하지 않습니다. Gmail이 아닌 도메인에서는 점이 의미를 가질 수 있습니다.
Smart Email은 비교 규칙이지 이메일 validator가 아닙니다. 주소를 정규화하는 데 필요한 구조는 확인하지만 도메인이나 mailbox를 완전히 검증하지는 않습니다. 예를 들어 person+tag@.example.com은 잘못된 도메인인데도 매칭할 때 person@.example.com으로 변환됩니다. 병합 전에 유효하지 않은 값은 별도로 검토하세요.
plus alias, Gmail의 점, 래퍼를 서로 다른 값으로 유지하려면 Exact를 선택하세요. Exact 텍스트 비교도 앞뒤 공백을 제거하며, 기본적으로 대소문자를 구분하지 않습니다. 대문자와 소문자를 서로 다른 값으로 유지해야 한다면 Case sensitive를 활성화하세요. 이 경우에도 공백 제거는 적용됩니다.
병합하기 전에 회사 도메인의 plus-tagged 주소를 확인하세요. Smart Email은 sam+orders@example.com과 sam@example.com을 같은 비교 키로 그룹화합니다. Exchange Online은 먼저 전체 주소를 확인하고, 주소를 찾지 못하면 기본 주소를 확인합니다. [1] 두 주소가 서로 다른 수신자 record를 가리키거나 routing이 불분명하다면 둘 다 유지하세요. 이메일 열에 Exact를 적용해 검사를 실행하고 두 행이 분리되어 있는지 확인하면 됩니다.
🔑 정규화는 중복 후보 그룹을 제안합니다
모든 필드가 같은 사람의 정보라는 사실까지 증명하지는 않습니다. 병합 전에 이름, 회사, role-based inbox를 검토하세요.
일반적인 연락처 목록 정리에는 Smart matching과 Email processor를 권장합니다. alias를 구분해야 할 때는 Exact로 전환한 다음, 파일의 식별자 특성에 맞게 대소문자 설정을 확인합니다.
전체 정규화 규칙과 요금제별 이용 가능 여부는 Email processor 레퍼런스에서 확인하세요.
이 가이드에서 사용한 이메일 목록 예시
테스트 파일에는 의도적으로 설계한 800개 identity를 나타내는 가상 연락처 행 1,000개가 들어 있습니다. 어떤 중복 쌍도 원본 이메일 문자열이 완전히 같지 않습니다. alias까지 인식하는 매칭을 보여주려면 단순한 Exact 값 정리만으로는 부족하기 때문입니다.
파일에는 record_id, first_name, last_name, email, company, phone, source, notes 등 8개 열이 있습니다. workflow는 email을 기준으로 매칭하지만, master record를 선택하고 유용한 값을 보존할 수 있도록 다른 필드도 계속 표시합니다.
다음은 중복 쌍 두 개에 포함된 실제 입력 행 네 개입니다.
| record_id | first_name | last_name | phone | source | notes | |
|---|---|---|---|---|---|---|
CONTACT-0040-A | Nora | Anderson | noraanderson40@demo.co | CRM 내보내기 | 기본 연락처 record | |
CONTACT-0040-B | N. | A. | noraanderson40+newsletter@demo.co | +1-202-555-1039 | 웹사이트 폼 | 두 번째 source의 후속 정보 |
CONTACT-0062-A | Victor | Bennett | victorbennett62@gmail.com | +1-202-555-1061 | 웹사이트 폼 | 기본 연락처 record |
CONTACT-0062-B | victor | BENNETT | victorb.ennett62@gmail.com | 이벤트 | 두 번째 source의 후속 정보 |
Nora의 두 행을 보면 중복을 발견하자마자 삭제해서는 안 되는 이유를 알 수 있습니다. 기본 record에는 선호하는 전체 이름이 있지만, plus alias 행에만 전화번호와 두 번째 유입 경로가 있습니다. 병합하면 두 정보를 모두 보존할 수 있습니다.
데이터셋에는 각각 두 행으로 구성된 중복 identity 200개가 있습니다. plus alias, 점이 들어간 Gmail 주소, gmail.com과 googlemail.com의 차이, 표시 이름 래퍼, mailto: 값 등 다섯 가지 변형 유형에 동일하게 분배했습니다. 나머지 identity 600개는 한 번씩만 나타납니다.
가이드를 그대로 재현하려면 1,000행 샘플 CSV를 다운로드하세요. 자체 파일을 사용한다면 한 행에 이메일 하나만 두고, 통합해야 할 인접 필드는 그대로 유지하세요.
이메일 열 가져오기 및 준비
CSV 또는 Excel 파일을 새 Datablist collection으로 가져옵니다. import preview를 확인하고 이메일 열을 email property로 매핑하세요.
이름, 회사, 전화번호, source, notes, 고정 ID는 각각 별도의 property로 유지하세요. 이 열들은 불필요한 정보가 아닙니다. 이메일은 일치하지만 다른 필드가 서로 다를 때 판단의 근거가 됩니다.
이 workflow에서는 셀 하나에 주소 하나만 두는 편이 좋습니다. 셀에 alice@example.com; bob@example.com처럼 여러 주소가 있다면 먼저 분할하거나 정규화하세요. 이 경우에는 여러 이메일 주소가 포함된 필드의 중복 제거 가이드를 참고하면 됩니다.
한 셀에 여러 주소가 있으면 multi-value deduplication이 세미콜론으로 구분된 각 값을 비교합니다. 두 연락처 record를 같은 사람으로 처리하기 전에 겹치는 mailbox를 검토하세요.
💡 병합 판단에 필요한 정보를 보존하세요
중복 제거 전에 source, notes, phone 또는 고정 ID 열을 삭제하지 마세요. 이 정보는 master 행을 선택하고 고유 데이터가 사라지는 일을 방지하는 데 도움이 됩니다.
Clean > Merge duplicates를 엽니다. Selected Properties를 선택한 후, 이메일 우선 검사에 사용할 email을 지정하세요.
property 하나만 선택하면 규칙을 이해하기 쉽습니다. 이 단계에서 이름이나 회사 property를 추가하면 값이 없거나 형식이 다를 때 유효한 이메일 매칭이 누락될 수 있습니다.
Duplicates Finder 설정 방법
email property의 비교 알고리즘으로 Smart를 선택하고 Email processor를 지정하세요.
각 설정의 역할은 다음과 같습니다.
- Selected Properties는 검사를 비교하려는 식별자로 제한합니다.
- Smart는 저장된 문자열을 그대로 비교하는 대신 processor 기반 정규화를 활성화합니다.
- Email은 앞서 설명한 alias, Gmail, 표시 이름,
mailto:규칙을 적용합니다.
identity 변형을 찾으려면 Smart와 Email processor를 함께 사용하세요. Exact는 이메일 전용 정규화를 건너뛰지만, 공백을 제거하고 기본적으로 대소문자를 무시합니다.
중복 검사 자체는 read-only입니다. 실행하면 검토할 후보 그룹만 생성되며, collection의 행을 삭제하거나 병합하지 않습니다. 실제 변경은 merge 또는 delete action을 선택하고 적용한 뒤에만 일어납니다.
이렇게 단계가 분리되어 있어 유용합니다. bulk merge를 목록에 적용하기 전에 매칭 규칙이 어떤 값을 동등하다고 판단하는지 먼저 확인할 수 있기 때문입니다.
검사 실행 및 중복 그룹 검토
Run duplicates check를 클릭하세요. 이번 테스트에서 Datablist는 전체 1,000행 중 400행을 각각 두 행으로 구성된 그룹 200개로 분류했습니다.
아직 그룹 수를 삭제할 행의 수로 보아서는 안 됩니다. 각 그룹은 검토 후보입니다. 그룹마다 다음 사항을 확인하세요.
- 이메일 변형이 타당한지
- 이름과 성이 일치하거나 차이를 설명할 수 있는지
- 회사와 전화번호 값이 충돌하는지
- source와 notes가 서로 보완되는 정보를 제공하는지
- 주소가 shared inbox인지
저는 보통 bulk rule을 적용하기 전에 처음 몇 개 그룹과 예상 밖의 회사 간 매칭을 확인합니다. 지나치게 공격적으로 병합한 뒤 복구하는 것보다 빠릅니다.
⚠️ 같은 주소라고 항상 같은 사람은 아닙니다
sales@company.com같은 shared inbox가 여러 정상 연락처에 사용될 수 있습니다. 모든 행을 하나로 합치지 말고 role-based 주소는 수동으로 검토하세요.
테스트 파일에서는 정규화된 각 쌍이 하나의 identity를 나타내도록 설계했습니다. 실제 CRM 내보내기 데이터는 훨씬 복잡합니다. 이름이나 회사 정보가 서로 다른 사람을 가리킨다면 해당 그룹은 건너뛰거나 별도로 검토하세요.
병합과 삭제 중 선택하기
제 판단 기준은 간단합니다.
- 행마다 서로 보완되는 데이터가 있으면 병합합니다.
- 추가 행에 유용한 값이 전혀 없을 때만 삭제합니다.
- 모호한 그룹은 수동 검토 대상으로 남겨 둡니다.
이번 실행에서는 가장 완전한 행을 master로 선택하도록 merge configuration을 설정했습니다. master의 record_id를 유지하고, 가장 긴 이름과 성을 사용했으며, source와 notes는 세미콜론으로 결합했습니다.
이 설정은 예시 데이터에는 적합하지만, 충돌하는 모든 property를 기본적으로 결합해서는 안 됩니다. 유입 경로 이력은 웹사이트 폼;CRM 내보내기처럼 합쳐도 괜찮습니다. 반면 CRM status, owner ID, primary email은 일반적으로 하나의 신뢰할 수 있는 값이 필요합니다.
preview에서 이런 선택을 검증할 수 있습니다. 규칙을 변경할 때마다 destination 행을 다시 확인하세요.
💡 규칙을 바꿀 때마다 preview를 확인하세요
준비된 모든 그룹에 규칙을 적용하기 전에 어떤 행이 master가 되는지, 어떤 값이 결합되는지, 어떤 값이 사라지는지 확인하세요.
중복 행에 고유한 전화번호, source 또는 note가 있다면 삭제하지 말고 병합하세요. Nora의 예시에서는 한 record의 전체 이름과 다른 record의 전화번호를 최종 행에 함께 보존했습니다.
더 복잡한 CRM 충돌을 처리해야 한다면 데이터 손실 없이 중복 Lead를 병합하는 방법을 활용하세요. 이번 이메일 중심 작업의 목표는 모든 property를 multi-value 문자열로 만들지 않으면서 유용한 인접 필드를 보존하는 것입니다.
1,000행 테스트 목록의 중복 제거 결과
병합 후 측정된 수치는 다음과 같습니다.
| 측정 항목 | 결과 |
|---|---|
| 시작 행 | 1,000 |
| 중복 그룹에 포함된 행 | 400 |
| 두 행으로 구성된 중복 그룹 | 200 |
| 삭제된 중복 행 | 200 |
| 업데이트된 master 행 | 200 |
| 최종 행 | 800 |
| 남은 중복 그룹 | 0 |
계산은 간단합니다. 시작 행 1,000개 - 삭제된 행 200개 = 보존된 행 800개입니다.
사람이 직접 진행한 테스트에서 병합에는 몇 초가 걸렸지만 정확한 시간은 기록하지 않았습니다. 성능 benchmark가 아니라 이번 실행에서 관찰된 결과로만 봐 주세요.
download한 change log에는 삭제된 행 200개와 업데이트된 master 행 200개를 합쳐 총 400개 entry가 있습니다. 각 병합 그룹에서 병합 전 값과 destination 행에 보존된 값을 확인할 수 있습니다.
아래 표는 실제 실행에서 나온 값을 그대로 사용했습니다.
| 원본 변형 | 매칭된 이유 | 보존된 이메일 | 처리 | 보존된 필드 |
|---|---|---|---|---|
noraanderson40@demo.conoraanderson40+newsletter@demo.co | plus suffix 제거 | noraanderson40+newsletter@demo.co | CONTACT-0040-B로 병합 | 전체 이름, 전화번호, 웹사이트 폼;CRM 내보내기, 두 notes |
victorbennett62@gmail.comvictorb.ennett62@gmail.com | Gmail 점 정규화 | victorbennett62@gmail.com | CONTACT-0062-A로 병합 | 전화번호, 웹사이트 폼;이벤트, 두 notes |
gabrielcarter113@gmail.comgabrielcarter113@googlemail.com | Gmail 도메인 정규화 | gabrielcarter113@gmail.com | CONTACT-0113-A로 병합 | 전화번호, 파트너 목록;CRM 내보내기, demo 요청 note |
camiladiaz123@testmail.netCamila Diaz <camiladiaz123@testmail.net> | 표시 이름 래퍼 제거 | camiladiaz123@testmail.net | CONTACT-0123-A로 병합 | 전체 이름, 전화번호, 파트너 목록;CRM 내보내기, 두 notes |
marcusevans199@testmail.netmailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello | mailto: 래퍼 제거 및 대소문자 정규화 | mailto:MARCUSEVANS199@TESTMAIL.NET?subject=Hello | CONTACT-0199-B로 병합 | 전체 이름, 전화번호, Webinar;이벤트, 두 notes |
보존된 값이 항상 눈으로 보기에 가장 단순한 이메일은 아니라는 점에 유의하세요. 어떤 저장 이메일을 남길지는 선택한 master record에 따라 결정됩니다. 정규화는 매칭에만 사용되며, 보존된 모든 값을 자동으로 표준 형식으로 다시 쓰지는 않습니다.
테스트 병합에서는 검토를 마친 중복 행 200개를 각 master record에 통합해 1,000행을 800행으로 줄였습니다. 이는 설계된 테스트 목록의 결과이며, 모든 이메일 형식에 적용되는 보편적인 match rate가 아닙니다.
실패 사례와 검증 체크리스트
Smart Email matching은 테스트한 다섯 가지 변형 유형을 처리하지만, 사람의 검토를 대체할 수는 없습니다.
Gmail이 아닌 도메인의 점
Gmail이 아닌 도메인에서는 점이 여전히 의미를 가집니다. first.last@company.com과 firstlast@company.com이 같은 mailbox라고 가정하지 마세요. 두 주소의 연관성을 입증하는 외부 근거가 있다면 해당 쌍을 수동으로 처리하세요.
잘못된 형식의 값
매칭 결과를 유효성 검사로 간주하지 마세요. 사용할 수 있는 @ 구조가 없거나 중간에 공백이 들어간 입력은 일반 이메일처럼 정규화되지 않지만, processor가 잘못된 모든 도메인 형식을 거부하는 것은 아닙니다. 형식이 잘못된 값 두 개도 같은 비교 값으로 정규화될 수 있습니다. 주소 형식과 도메인을 별도로 확인하고, 의심스러운 행은 자동 병합에서 제외하세요. mailbox 또는 deliverability 검사도 추가로 진행할 수 있습니다.
Exact matching
Exact는 plus suffix, Gmail의 점, 도메인 alias, 표시 이름 래퍼를 제거하지 않습니다. 다만 앞뒤 공백을 제거하고 기본적으로 소문자 텍스트를 비교합니다. 예를 들어 NAME@example.com과 name@example.com은 기본 Exact 설정에서 일치하지만, name+tag@example.com과 name@example.com은 서로 다른 값으로 남습니다. 비교 시 대소문자를 유지해야 한다면 Case sensitive를 켜세요. Exact는 alias 차이가 중요할 때 유용하지만 유효성 검사도, 원본 셀을 byte 단위로 비교하는 기능도 아닙니다.
한 셀에 여러 주소가 있는 경우
이 방법은 셀마다 주소가 하나씩 있다고 가정합니다. 구분자로 나뉜 여러 주소가 한 셀에 있다면 행 단위 매칭 전에 별도의 multi-value workflow를 적용해야 합니다.
Shared inbox
sales@company.com을 사용하는 행 두 개가 서로 다른 사람을 나타낼 수 있습니다. 이름, 직책, 회사, notes를 바탕으로 검토 여부를 판단해야 합니다. 확인하지 않은 role-based inbox를 bulk merge하지 않는 것이 좋습니다.
보완 필드 삭제
추가 행을 삭제하면 유일한 전화번호, 유입 경로 또는 note가 사라질 수 있습니다. merge preview에서 어떤 값이 남는지 확인하세요.
설계된 테스트에서는 의도한 identity 200개를 모두 찾았으며, 서로 다른 identity가 예기치 않게 묶인 그룹은 없었습니다. 하지만 현실에서 접할 수 있는 모든 주소 형식, 잘못된 값, shared inbox 패턴을 테스트한 것은 아닙니다.
자체 목록을 내보내기 전에 다음 항목을 확인하세요.
- 승인한 각 그룹이 하나의 identity를 나타냅니다.
- shared inbox와 role-based inbox를 수동으로 검토했습니다.
- master 행에 선호하는 이름, ID, 이메일 값이 들어 있습니다.
- 고유한 전화번호, 회사, source, note 값이 병합 후에도 남아 있습니다.
- 시작 행 수에서 삭제된 행 수를 빼면 최종 행 수와 같습니다.
- 목록에 존재하는 각 정규화 유형을 표본 검사했습니다.
- 남은 중복 그룹 수가 예상과 일치합니다.
📌 행 수를 대조하세요
병합 후에는
시작 행 - 삭제된 행 = 최종 행계산이 가장 빠른 완전성 검사입니다.
이메일 목록 추가 정리
중복 제거는 반복된 identity를 해결하지만 mailbox의 존재 여부, disposable provider, 수신 거부 상태 또는 deliverability는 확인하지 않습니다.
저는 중복 identity를 먼저 정리하는 편입니다. 그러면 이후 검사는 같은 사람의 여러 버전을 반복 처리하지 않고 최종 연락처만 대상으로 실행됩니다. 병합 결과가 검증 체크리스트를 통과했다면 나머지 이메일 목록을 정리한 다음 Export를 열고 CSV 또는 Excel을 선택하세요.
Datablist에서 이메일 중복 제거하기
연락처 파일을 Datablist로 가져오고, 이메일 변형을 인식하는 중복 검사를 실행하세요. 제안된 그룹을 검토해 유용한 값을 병합한 다음 정리된 목록을 내보내면 됩니다.










