Ta bort dubbletter i flera Excel- och CSV-filer

För att ta bort dubbletter i flera Excel- eller CSV-filer behåller du varje fil i en separat collection i Datablist, mappar de properties som identifierar samma post och jämför sedan dina collections. Därefter kan du ta bort matchande rader från en inkommande lista utan att referenslistan ändras.

Det här arbetsflödet är användbart när du har en export från ditt CRM och en ny prospektlista. Det besvarar en konkret fråga: vilka prospects finns redan i CRM-systemet?

Den automatiska åtgärden är en exkludering, inte en sammanslagning. Matchande poster tas bort från den collection du väljer. Unika värden från dessa poster kopieras inte till någon annan collection.

Den här guiden beskriver ett verkligt test med två CSV-filer med 250 rader vardera:

Collection	Roll	Rader före	Matchande property
`CRM Export`	Referenslista som ska bevaras	250	`Email`
`Event Registrations`	Inkommande lista som ska rensas	250	`Attendee Email`

Filerna innehåller 100 avsiktligt skapade överlappningar mellan listorna. När matchningarna har tagits bort från Event Registrations återstår 150 helt nya eventkontakter.

I det här exemplet sker matchningen via e-postadress. Om listorna saknar e-postadresser eller innehåller flera kontaktidentifierare bör du läsa om deduplicering av leads innan du avgör vilka matchningar som kan tas bort utan risk.

Ladda ner de två exempelfilerna

Använd följande filer för att återskapa testet:

Kolumnrubrikerna skiljer sig åt med avsikt. CRM-filen använder Email, First Name och Last Name. Eventfilen använder Attendee Email, Attendee First Name och Attendee Last Name. Genom att mappa properties mellan olika collections kan filerna behålla sina ursprungliga strukturer.

Testdatan innehåller variationer i formateringen av e-postadresser samt olika alias. Därför är Smart-matchning med Email-processorn mer användbar än en enkel exakt jämförelse.

Importera varje fil till en collection

Öppna Datablist och importera varje CSV- eller Excel-fil till en egen collection. Namnge dina collections efter deras funktion, så blir det enkelt att kontrollera rensningsregeln.

Den första collection i testet är CRM-referenslistan. Den innehåller 250 poster och ska förbli oförändrad.

Referenslistan CRM Export med 250 poster

Den andra collection är den inkommande eventlistan. Även den innehåller 250 poster från början.

Event Registrations med 250 inkommande kontakter

Kontrollera property-typerna under importen. Ange typen Email för båda e-postkolumnerna. Behåll externa ID:n, namn, telefonnummer och andra fält eftersom de hjälper dig att granska osäkra matchningar.

Mappa identifierande properties

Öppna den inkommande collection Event Registrations. Välj Clean > Match across collections.

Menyn Clean med Match across collections valt

Aktivera Check duplicate items across several collections? och lägg till CRM Export.

Välj Attendee Email i eventets collection. Mappa den till Email i CRM-collection.

Event Registrations och CRM Export valda med Attendee Email mappad till Email

En stark identifierare är viktigare än kolumnens namn. Bra alternativ är:

E-postadress för kontakter.
Telefonnummer när båda filerna använder kompatibla landskoder.
LinkedIn-URL för prospektlistor.
Webbplatsens domän för företag.
SKU eller någon annan stabil identifierare för produkter.

Undvik att matcha enbart på förnamn. Många personer kan ha samma namn.

Om du väljer flera properties utvärderar Datablist deras sammanlagda poäng. Kör separata kontroller om du vill matcha oberoende på e-postadress respektive telefonnummer. Med Match on empty value får properties som är tomma i båda posterna 100 % i poäng, vilket kan höja genomsnittet. Granska ifyllda identifierare och exemplet på poängsättning av tomma värden innan du tar bort en grupp.

Konfigurera jämförelsen

Använd Exact för stabila ID:n som måste vara identiska. För e-postadresser väljer du Smart med processorn Email.

Smart-matchning och Email-processorn konfigurerade för båda collections

Email-processorn standardiserar de e-postvariationer som stöds inför jämförelsen, utan att skriva om källcellerna. I den särskilda guiden om att ta bort dubbletter bland e-postadresser och alias kan du läsa mer om funktionens beteende och begränsningar.

Klicka på Run duplicates check när du har granskat de två datakällorna, antalet poster, mappade properties och jämförelseinställningarna.

Granska matchningar mellan listorna

I testet kontrollerades 500 poster och 100 dubblettgrupper som sträckte sig över båda collections hittades.

Resultat från matchningen: 500 kontrollerade poster och 100 dubblettgrupper

Läget för matchning mellan collections visar endast grupper med poster från mer än en collection. Dubbletter som enbart finns i CRM Export eller enbart i Event Registrations hoppas över.

Granska grupperna innan du tar bort något:

Bekräfta att den mappade identifieraren tillhör samma person eller företag.
Kontrollera om den inkommande raden innehåller unik data.
Säkerställ vilken collection som är referenslistan.
Ladda ner grupperna om någon annan behöver godkänna exkluderingen.
Använd Manual Merging Assistant för en enskild grupp som behöver slås samman i stället för att tas bort.

Om du även behöver rensa bort dubbletter inom någon av filerna kör du arbetsflödet Duplicates Finder separat för den aktuella collection.

Ta bort överlappningar från den inkommande listan

Välj Remove duplicate items from collection {X} och välj sedan Event Registrations som den collection som ska rensas.

Datablist visar konsekvenserna innan bearbetningen börjar:

Matchande poster i Event Registrations tas bort.
CRM Export ändras inte.
Eventposter som inte matchar någon post i CRM-systemet blir kvar.
Unika värden som endast finns i en borttagen eventpost går förlorade.

Rensningsregeln konfigurerad för att ta bort CRM-överlappningar från Event Registrations

⚠️ Den här åtgärden slår inte samman data med CRM-systemet

Om en eventpost innehåller ett användbart telefonnummer, en källa, ett samtyckesfält eller en anteckning som saknas i CRM-systemet kommer den automatiska exkluderingen inte att kopiera informationen. Granska eller exportera grupperna först, eller använd Manual Merging Assistant för de berörda grupperna.

Om du arbetar med tre eller fler collections erbjuder Datablist även en regel som endast behåller dubblettposter i en vald collection. Kontrollera sammanfattningen noggrant före bearbetningen, eftersom åtgärden kan ta bort poster från flera källor.

Klicka på Process duplicate items när vald collection och sammanfattningen stämmer överens med det du vill göra.

Datablist bearbetade samtliga 100 dubblettgrupper mellan collections i den här körningen. Resultatsidan visade därefter att inga grupper återstod.

Slutförd bearbetning av 100 dubblettgrupper mellan collections

Kontrollera den rensade listan

Gå tillbaka till Event Registrations. Denna collection innehåller nu 150 poster.

Den rensade Event Registrations med 150 helt nya kontakter

Avstämningen av antalet rader blir:

250 inkommande rader - 100 matchande CRM-kontakter = 150 helt nya rader

Kontrollera följande före exporten:

CRM Export innehåller fortfarande 250 poster.
Event Registrations innehåller 150 poster.
Några kända e-postadresser från CRM-systemet finns inte längre i eventlistan.
Eventkontakter utan matchning finns kvar.
Den bearbetade åtgärden visas i History om du behöver ångra den.

Exportera den rensade eventlistan till CSV eller Excel. Den är nu redo för ett arbetsflöde med helt nya leads, utan att kontakter som redan finns i CRM-systemet importeras på nytt.

Begränsningar med deduplicering mellan collections

Matchning mellan collections har ett mer avgränsat syfte än att slå samman filer:

Den automatiska bearbetningen tar bort poster. Den sammanför inte fält från olika collections.
Interna dubbletter i en enskild collection hoppas över.
Varje property som används i jämförelsen måste mappas mellan valda collections.
Matchningar för valda properties påverkas av deras sammanlagda poäng och inställningarna för tomma värden.
Smart, fuzzy och fonetisk matchning kan ge kandidater som behöver granskas manuellt.
Matchning mellan collections kräver en betalplan.

Använd arbetsflödet för spärrlistor, kontroller inför CRM-importer, rensning av eventleads, exkluderingar från kampanjmålgrupper eller andra processer där en lista måste vara den enda tillförlitliga källan.

Om du behöver kombinera filer i en tabell före dedupliceringen följer du guiden om att slå samman kalkylblad. Om du behöver bevara kompletterande värden inom en collection använder du arbetsflödet för en enda lista för att slå samman dubbletter av leads utan att förlora data.