중복 CSV 행을 안전하게 제거하려면 먼저 각 레코드를 식별하는 열을 기준으로 매칭하고, 제안된 그룹을 검토한 다음, 불필요한 행을 삭제하거나 보존해야 할 값을 병합하세요. 이 방법은 CSV 파일 하나뿐 아니라 여러 파일을 동일한 Datablist collection으로 가져온 경우에도 사용할 수 있습니다.

첫 번째 검사에서는 email, phone, company website, SKU 또는 안정적인 다른 식별자를 사용하세요. 값에 철자나 형식 차이가 있다면 Smart, fuzzy 또는 phonetic matching을 사용하고, 확실하지 않은 그룹은 검토 대상으로 남겨 두세요.

CSV 파일의 중복 데이터 병합하기

Datablist의 중복 항목 병합 예시
Datablist의 중복 항목 병합 예시

Datablist는 spreadsheet에서 처리하기 어려운 데이터 작업에 적합합니다. 편리한 온라인 CSV 편집기가 필요할 때 활용해 보세요.

이 가이드에서는 수천 개의 항목이 들어 있는 CSV 파일 2개를 사용합니다. 두 파일을 하나의 collection으로 불러온 뒤, 4개 열 중 하나를 기준으로 중복 항목을 제거하겠습니다. 물론 CSV 파일 하나에도 같은 방식으로 적용할 수 있습니다.

📘 튜토리얼용 CSV 파일 다운로드

CSV 파일 1과 CSV 파일 2를 다운로드하세요.

다운로드 파일에는 firstname, lastname, email, profession(직책)이라는 4개의 header가 있습니다. 파일 1에는 데이터 행 1,000개, 파일 2에는 1,003개가 있어 중복 제거 전에는 총 2,003개입니다. 여기서는 같은 email 주소를 사용하는 레코드를 병합합니다.

email 필드의 한 cell에 주소가 여러 개 들어 있다면 중복 검사를 실행하기 전에 여러 값이 든 CSV cell을 행으로 분리하세요. 원본 export 파일이 너무 커서 안전하게 가져오거나 검토하기 어렵다면 대용량 CSV 파일을 먼저 분할하세요.

중복 데이터 병합 과정은 다음과 같습니다.

  1. CSV 파일을 Datablist collection에 불러오기
  2. 중복 검사에 사용할 property 선택하기
  3. 충돌하지 않는 중복 데이터 자동 병합하기
  4. 남은 중복 데이터 수동 병합하기

1단계: CSV 파일을 Datablist collection에 불러오기

새 collection 만들기

먼저 CSV 파일을 Datablist에 불러옵니다. Datablist를 열어 바로 시작하세요(회원가입 불필요).

새 collection을 만들려면 **+**가 표시된 "New collection" 버튼을 클릭하세요. Collection이 생성되면 이름과 icon을 지정합니다.

그런 다음 Import CSV 버튼을 클릭하세요.

새 collection 만들기

CSV 파일의 property 만들기

CSV 파일을 불러오면 열 이름을 사용해 collection의 property를 만들 수 있습니다. Datablist가 CSV에서 발견한 모든 열을 표시하므로 각 열에 해당하는 property를 생성하면 됩니다.

CSV 파일에는 열 type이 명시되지 않습니다. Datablist는 가져온 값을 바탕으로 type을 추천해 정렬과 filtering을 더 쉽게 해 줍니다. Import 전에 추천 내용을 검토하세요.

SKU, account ID, 우편번호 같은 식별자는 Text로 유지하는 것이 좋습니다. 예를 들어 00127을 Number로 변환하면 앞의 0이 사라져 match key가 달라집니다. 어떤 type을 선택해야 할지 모르겠다면 property type 가이드를 확인하세요.

Collection property 만들기

검토 후 가져오기

검토 단계에서는 CSV 파일의 행이 그대로 표시됩니다. 데이터 형식이 올바르고 일관적인지 확인하세요. 그런 다음 "Import items" 버튼을 클릭하면 완료입니다! 💪

검토 및 import 후 두 번째 CSV 파일 upload하기

다른 CSV 파일도 같은 방식으로 가져오기

이제 property가 설정된 collection이 준비되었습니다. "Import CSV/Excel" 과정을 반복해 다른 CSV 또는 Excel 파일도 같은 collection으로 가져오세요.

2단계: 중복 데이터 찾기

CSV 파일을 불러온 다음 Clean > Merge duplicates를 여세요. 추가 행에 보존해야 할 데이터가 없다면 Remove duplicates를 선택하세요.

Duplicates Finder
Duplicates Finder

두 가지 mode를 사용할 수 있습니다.

  • All Properties는 전체 행을 비교합니다.
  • Selected Properties는 레코드를 식별하는 열만 비교합니다.

이 예시에서는 email property만으로 contact를 식별할 수 있으므로 email property와 함께 Selected Properties mode를 선택하면 됩니다.

튜토리얼 파일 2개에서 결과 수를 동일하게 확인하려면 email에 Exact matching을 적용하세요. 각각 2개 행이 포함된 중복 그룹 8개가 검색됩니다. 8개 그룹을 모두 하나의 행으로 정리하면 header를 제외한 export CSV에 1,995개의 데이터 행이 있어야 합니다. 결과가 다르다면 두 파일을 각각 한 번씩 가져왔는지, matching 열이 email인지, 아직 처리되지 않은 그룹이 남아 있는지 확인하세요.

Alias나 wrapper 때문에 값이 다르다면 email 전용 workflow로 이러한 변형 주소의 중복을 제거하세요.

검사는 read-only 방식입니다. 결과 workspace에는 그룹과 matching된 이유가 표시되며, Ready 그룹과 검토가 필요한 match가 구분됩니다.

중복 데이터 찾기 및 제거

병합 없이 중복 CSV 행 제거하기

행만 제거하려면 결과 workspace에서 Remove duplicates를 선택하세요.

  1. Record to keep을 확인합니다. 기본값은 Most Complete이며, 다른 레코드 선택 rule은 유료 plan에서 사용할 수 있습니다. 선택한 행은 변경되지 않고 그대로 유지됩니다.
  2. 몇 개의 그룹을 열어 Keep과 Remove로 표시된 행을 비교합니다. 제거할 행에 아직 필요한 phone number, note 또는 더 최신 값이 있는지 확인하세요.
  3. 해당 값이 중요하다면 Merge and preserve data를 선택하고 아래의 3단계를 진행하세요. 단순 제거는 추가 값을 유지할 행으로 복사하지 않습니다.
  4. Ready 그룹이 원하는 결과와 일치하면 Remove ready duplicates를 클릭합니다. 확인하기 전에 데이터 손실 warning을 검토하세요.

예를 들어 email까지 완전히 같은 두 행은 하나로 줄여도 됩니다. 반면 email은 같지만 phone number가 다르다면 판단이 필요합니다. 한 레코드를 변경 없이 유지하거나, phone number를 destination 레코드에 병합할 수 있습니다.

유지할 행을 정하기 전에 matching 열부터 선택하세요. All Properties는 전체 값이 동일한 행을 찾습니다. Selected Properties는 직책이나 phone number가 달라도 같은 contact로 그룹화할 수 있습니다. 한 회사에 여러 contact가 근무할 수 있으므로 company website만 공유한다고 해서 같은 레코드로 판단해서는 안 됩니다.

원본 CSV 파일은 보관하세요. 처리가 끝나면 제거된 행 수와 검토한 그룹 수를 비교하고, 유지된 식별자를 확인한 뒤 정리된 collection을 CSV로 export하세요. 아직 검토 대기 중인 행이 collection에 남을 수 있으므로 batch가 완료됐다고 해서 가능한 모든 중복 데이터가 해결된 것은 아닙니다.

3단계: 중복 데이터 자동 병합하기

보조 CSV 행에 유용한 값이 있다면 Merge and preserve data를 선택하세요. Datablist가 destination 레코드 하나를 선택하고 빈 property를 채운 다음, 설정한 충돌 rule을 적용한 뒤 보조 행을 삭제합니다.

Preview에서는 Ready 그룹과 해결되지 않은 충돌이 있는 그룹이 구분됩니다. 전체 검토 과정과 survivorship 및 레코드 선택 설정은 Duplicate Finder 문서에서 확인하세요.

중복 데이터 자동 통합
중복 데이터 자동 통합

Resolve conflicting values를 펼치면 아직 rule이 필요한 property를 확인할 수 있습니다.

충돌하는 property 목록
충돌하는 property 목록

충돌하지 않는 행 병합하기

"Merge non-conflicting duplicates" algorithm은 "smart merge"를 실행합니다. 서로 비슷하거나 상호 보완적인 값을 가진 레코드를 병합하는 방식입니다.

예를 들어 다음 중복 레코드는

email            |     First Name   |    Last Name
james@gmail.com  |     James
james@gmail.com  |                  |     Bond

아래와 같이 병합됩니다.

email            |     First Name   |    Last Name
james@gmail.com  |     James        |     Bond

중복 값 결합하기

중복 레코드에 서로 충돌하는 값이 있지만 데이터 손실 없이 병합하고 싶을 때는 중복 값을 결합하거나 통합하는 방법이 적합합니다.

예를 들어 Phone property를 semi-colon으로 결합하면

email            |       Phone       |     First Name   |    Last Name
james@gmail.com  |  +33 1 34 65 23   |      James       |
james@gmail.com  |  06 13 42 78 23   |                  |     Bond

다음과 같이 병합됩니다.

email            |   Phone                         |     First Name   |    Last Name
james@gmail.com  |  +33 1 34 65 23;06 13 42 78 23  |     James        |     Bond

Text가 포함된 property는 모두 결합할 수 있습니다. 사용할 수 있는 delimiter는 line break, semi-colon, comma, space입니다. 병합 과정에서 하나 이상의 property를 결합할 수 있습니다.

중복 item을 병합하고 값을 결합하는 방식은 Lead 및 CRM 데이터 정리에 특히 적합합니다. 중복 Lead를 모두 병합하고 Phone, Email, Notes property를 결합해 깔끔한 목록을 만드세요. 정리된 Lead CSV를 export한 뒤 CRM으로 다시 import하면 됩니다.

선택한 레코드의 값 유지하기

이 rule은 선택한 destination 레코드의 값을 유지하고 충돌하는 다른 값은 삭제합니다.

Most Complete가 기본 Record to keep rule입니다. 유료 plan에서는 다른 rule을 선택하거나 survivorship rule을 통해 각 필드의 값을 개별적으로 선택할 수 있습니다.

다음과 같은 경우에는 drop conflicting values option을 사용하세요.

  • 단일 값만 허용되는 Account Id 같은 기술 property
  • "Relation" type이어서 여러 값을 가질 수 없는 property(예: Lead owner, Account)
  • 값을 결합할 수 없는 비 Text property(예: Last Activity, Contacted on 같은 datetime과 checkbox)

4단계: Manual Merging Assistant

중복 그룹을 직접 판단해야 할 때는 Review group을 여세요. Merging Assistant를 사용하면 destination과 각 property에서 유지할 값을 선택할 수 있습니다.

중복 데이터 병합
중복 데이터 병합

수동으로 선택한 destination에는 기존 Datablist ID가 유지됩니다. 나머지 행은 보조 레코드가 됩니다.

CSV의 중복 행 제거
CSV의 중복 행 제거

각 property를 검토하고 유지할 값을 선택한 뒤 병합을 확인하세요. 특정 행을 중복 그룹에서 제외하거나 그룹 전체를 건너뛸 수도 있습니다.

필요하면 CSV로 export하기

축하합니다. CSV 파일의 중복 데이터를 성공적으로 정리했습니다! 결과를 다른 tool에서 사용하려면 "Export" 버튼을 클릭해 collection을 새 CSV 파일로 export하세요.

CSV Export
CSV Export

FAQ

Datablist에서 사용할 수 있는 다른 데이터 작업은 무엇인가요?

CSV 파일은 software application이나 data set의 구조화된 데이터를 정의하는 데 널리 사용됩니다. 하지만 사용 범위가 넓은 것과 달리 CSV를 다루는 작업은 까다롭고 기술 지식이 필요한 경우가 많습니다.

간단한 작업은 spreadsheet만으로도 충분합니다. 하지만 다음과 같은 작업에는 한계가 있습니다.

📘 고유 열을 기준으로 CSV 파일 연결하기

고유한 열을 기준으로 여러 CSV 파일을 연결하려면 CSV 파일 join 가이드를 확인하세요.

Datablist로 대용량 CSV 파일도 처리할 수 있나요?

Free plan은 browser storage를 사용해 collection당 최대 100만 개 item을 지원합니다. 유료 plan에서는 collection당 최대 200만 개 item을 import할 수 있습니다. 대규모 local 작업의 성능은 여전히 browser와 device 환경에 따라 달라집니다. 자세한 방법은 대용량 CSV 파일 온라인 편집 가이드를 확인하세요.

Datablist 중복 제거는 Excel과 Google Sheets보다 좋은가요?

Spreadsheet tool인 Microsoft Excel과 Google Sheets에도 중복 제거 기능이 있습니다. 비슷한 행을 삭제하는 방식이지만, 비즈니스 용도에서 단순히 행만 제거하는 것은 적합하지 않을 수 있습니다.

Datablist는 파일을 변경하기 전에 중복 그룹을 보여 줍니다. 불필요한 행을 제거하거나, 상호 보완적인 값을 병합하거나, 충돌을 해결하거나, 확실하지 않은 그룹을 그대로 둘 수 있습니다.

궁금한 점이 있다면 문의해 주세요.