複数のExcelまたはCSVファイルを横断して重複を削除するには、各ファイルを別々のDatablistコレクションに保存し、同一レコードの識別に使うプロパティをマッピングして、コレクション同士を比較します。これにより、参照リストは変更せず、新しく取り込むリストから一致する行だけを削除できます。
このワークフローは、CRMからエクスポートしたファイルと、新しい見込み客リストがある場合に便利です。「どの見込み客がすでにCRMに登録されているか」という具体的な疑問に答えられます。
自動処理で行われるのはマージではなく、除外です。指定したコレクションから一致するレコードを削除します。該当レコードに含まれる固有の値が、別のコレクションへコピーされることはありません。
このガイドでは、それぞれ250行ある2つのCSVファイルを使った実際のテストをご紹介します。
| コレクション | 役割 | 処理前の行数 | 照合プロパティ |
|---|---|---|---|
CRM Export | 保持する参照リスト | 250 | Email |
Event Registrations | クリーンアップする新規リスト | 250 | Attendee Email |
2つのファイルには、リスト間で重複するレコードを意図的に100件含めています。Event Registrationsから一致するレコードを削除すると、イベントで新たに獲得した連絡先が150件残ります。
2つのサンプルファイルをダウンロード
テストを再現するには、以下のファイルをご利用ください。
ヘッダーは意図的に異なる名前にしています。CRMではEmail、First Name、Last Nameを使用し、イベントファイルではAttendee Email、Attendee First Name、Attendee Last Nameを使用しています。コレクション間でプロパティをマッピングできるため、各ファイルの元の構造を維持したまま照合できます。
テストデータには、メールアドレスの表記ゆれやエイリアスも含まれています。そのため、単純な完全一致よりも、Emailプロセッサーを使ったSmart matchingが効果的です。
各ファイルをコレクションにインポート
Datablistを開き、各CSVまたはExcelファイルをそれぞれ別のコレクションへインポートします。クリーンアップのルールを確認しやすいよう、各コレクションには役割が分かる名前を付けてください。
このテストで最初に使用するコレクションは、CRMの参照リストです。250件のレコードが含まれており、この内容は変更せずに保持します。
2つ目は、新しく取り込むイベントリストのコレクションです。こちらも250件のレコードから開始します。
インポート時にプロパティの型をご確認ください。両方のメール列をEmail型に設定します。外部ID、氏名、電話番号などのフィールドは、判断が難しい一致候補の確認に役立つため、そのまま保持してください。
レコード識別用プロパティをマッピング
新規リストのEvent Registrationsコレクションを開き、Clean > Match across collectionsを選択します。
***Check duplicate items across several collections?***をオンにして、CRM Exportを追加します。
イベントコレクションではAttendee Emailを選択し、CRMコレクションのEmailにマッピングします。
列名よりも、精度の高い識別子を選ぶことが重要です。候補としては、以下が挙げられます。
- 連絡先の場合はメールアドレス。
- 両方のファイルで互換性のある国番号が使われている場合は電話番号。
- 見込み客リストの場合はLinkedIn URL。
- 企業の場合はWebサイトのドメイン。
- 商品の場合はSKUなど、変わりにくい識別子。
名だけでの照合は避けてください。同じ名前の別人が存在することは珍しくありません。
1回のチェックで複数のプロパティを選択すると、レコードは設定した条件をすべて満たす必要があります。「メールアドレスまたは電話番号」で照合したい場合は、「メールアドレスと電話番号」を同時に条件にするのではなく、チェックを分けて実行してください。
比較条件を設定
完全に同一であるべき固定IDにはExactを使用します。メールアドレスには、Emailプロセッサーを指定したSmartを選択してください。
Emailプロセッサーは、対応するメールアドレスの表記ゆれを比較用に標準化しますが、元のセルの内容は書き換えません。メール特有の処理や制限については、メールアドレスとエイリアスの重複を削除するガイドをご覧ください。
2つのデータソース、アイテム数、マッピングしたプロパティ、比較設定を確認してから、Run duplicates checkをクリックします。
コレクション間の一致を確認
今回のテストでは500件のレコードをチェックし、コレクションをまたぐ重複グループが100件見つかりました。
コレクション間モードでは、複数のコレクションにまたがるレコードを含むグループだけが返されます。CRM Export内だけ、またはEvent Registrations内だけに存在する重複は対象外です。
削除する前に、各グループを確認してください。
- マッピングした識別子が、同じ人物または企業を示していることを確認する。
- 新規リストの行に固有のデータが含まれていないか確認する。
- どのコレクションが参照リストなのか確認する。
- 除外処理に別の担当者の承認が必要な場合は、グループをダウンロードする。
- 削除ではなく統合が必要な個別グループには、Manual Merging Assistantを使用する。
いずれかのファイル内にある重複もクリーンアップする場合は、そのコレクションに対して単一コレクション向けのDuplicates Finderワークフローを別途実行してください。
新規リストから重複レコードを削除
***Remove duplicate items from collection {X}***を選択し、クリーンアップするコレクションとしてEvent Registrationsを指定します。
Datablistでは、処理を実行する前に影響範囲が表示されます。
Event Registrations内で一致したレコードは削除されます。CRM Exportは変更されません。- CRMに一致するレコードがないイベント登録者は残ります。
- 削除対象のイベントレコードだけが保持している固有の値は失われます。
⚠️ この処理ではデータをCRMへマージしません
イベントレコードに、CRM側にはない有用な電話番号、流入元、同意フィールド、メモなどが含まれていても、自動除外ではコピーされません。先にグループを確認またはエクスポートするか、該当するグループにManual Merging Assistantをご利用ください。
コレクションが3つ以上ある場合、重複レコードを指定した1つのコレクションだけに残すルールもDatablistで利用できます。この処理では複数のデータソースからレコードが削除される可能性があるため、実行前にサマリーを十分にご確認ください。
選択したコレクションとサマリーが目的の処理内容と一致していることを確認し、Process duplicate itemsをクリックします。
今回の実行では、Datablistがコレクションをまたぐ100件の重複グループをすべて処理しました。その後、結果画面には残りのグループ数がゼロと表示されました。
クリーンアップ結果を確認
Event Registrationsに戻ります。コレクション内のアイテム数は150件になっています。
行数の内訳は次のとおりです。
新規リスト250行 - CRMと一致した連絡先100件 = 新規レコード150行
エクスポートする前に、以下をご確認ください。
CRM Exportに引き続き250件のアイテムが含まれている。Event Registrationsに150件のアイテムが含まれている。- CRMに登録済みと分かっているメールアドレスが、イベントリストに残っていない。
- 一致しなかったイベントの連絡先が残っている。
- 操作を取り消す必要がある場合に備え、処理済みの操作がHistoryに表示されている。
クリーンアップ済みのイベントコレクションをCSVまたはExcel形式でエクスポートします。これで、CRMに保存済みの連絡先を再インポートすることなく、新規Lead向けのワークフローに利用できます。
コレクション間重複削除の制限
コレクション間照合は、ファイルのマージよりも用途が限定されています。
- 自動処理はレコードを削除します。コレクション間でフィールドを統合するものではありません。
- 1つのコレクション内だけに存在する重複は対象外です。
- 比較するすべてのプロパティを、選択したコレクション間でマッピングする必要があります。
- 複数のプロパティで照合すると、条件が厳しくなります。
- Smart、fuzzy、phonetic matchingでは、人による確認が必要な候補が返される場合があります。
- コレクション間照合には有料プランが必要です。
このワークフローは、除外リスト、CRMへのインポート前チェック、イベントLeadのクリーンアップ、キャンペーンオーディエンスからの除外など、1つのリストを信頼できる基準データとして維持したい場合に適しています。
重複削除の前に複数のファイルを1つの表へまとめる必要がある場合は、スプレッドシートをマージするガイドをご覧ください。1つのコレクション内で相互に補完する値を保持したい場合は、単一リスト向けのデータを失わずに重複Leadをマージするワークフローをご利用ください。