Slik standardiserer du duplikatverdier uten sammenslåing

For å standardisere feltverdier uten å slå sammen rader må du finne oppføringer som gjelder samme enhet, velge én verdi for målfeltet og kopiere den til hele gruppen. I Datablist bruker du Custom with AI i Duplicates Finder og presiserer at alle oppføringer skal beholdes.

Jeg ville gruppert bedriftsoppføringer etter en pålitelig identifikator, som nettstedet deres, før jeg standardiserte navnene. Et lignende navn er ikke i seg selv bevis på at to selskaper er samme virksomhet. Når radene holdes atskilt, bevares ID-er og informasjon om datakilden, men en feilaktig gruppering kan fortsatt føre til at feil navn kopieres til oppføringene.

I denne veiledningen lærer du å standardisere bestemte feltverdier på tvers av duplikatgrupper, samtidig som de enkelte oppføringene forblir intakte:

• Hva er datastandardisering?
• AI Processing i Duplicates Finder
• Slik standardiserer du data på tvers av duplikater

Hva er datastandardisering?

I denne sammenhengen betyr datastandardisering å gi dataene et konsekvent format. Når du arbeider med duplikater, oppstår det ofte variasjoner i bestemte felt. For eksempel:

• Bedriftsnavn: «Tech Solutions Inc.», «Tech Solutions, LLC», «Tech Solutions»
• Stillingsbetegnelser: «Software Engineer», «Software Dev.», «Eng., Software»
• Adresser: «Storgata 12», «Storgaten 12», «storgata 12»
• Land: «Norge», «NO», «NOR»

Målet med standardiseringen er å velge én standardverdi (som «Tech Solutions» eller «Norge») og bruke den i det aktuelle feltet i alle oppføringer som er identifisert som duplikater.

Dette gir renere data som er enklere å analysere og mer pålitelige ved filtrering og rapportering, selv om selve duplikatoppføringene fortsatt holdes atskilt. Det er et viktig trinn i datarensing.

AI Processing i Duplicates Finder

Datablists Duplicates Finder er allerede et kraftig verktøy for å finne lignende oppføringer. Det har solide funksjoner for å slå sammen duplikater automatisk eller manuelt, mens modusen AI Processing gir enda større fleksibilitet.

I stedet for forhåndsdefinerte regler for sammenslåing lar AI Processing deg beskrive logikken i en prompt med naturlig språk. Du kan fortelle AI-en nøyaktig hvordan du vil håndtere duplikatene. Du kan blant annet:

• Velge en hovedoppføring basert på bestemte kriterier (for eksempel den som nyligst ble oppdatert).
• Slå sammen bestemte felt og holde andre atskilt.
• Utføre beregninger under sammenslåingen (som å summere verdier).
• 👉 Og viktigst i denne veiledningen: Oppdatere ett bestemt felt i alle duplikatene med én standardisert verdi, uten å slå sammen oppføringene.

Dermed blir en komplisert oppgave som ellers ville krevd skripting, redusert til en enkel samtale med AI-en vår.

Slik standardiserer du data på tvers av duplikater

La oss gå gjennom hvordan du bruker AI Processing til å standardisere et felt (for eksempel bedriftsnavn) på tvers av duplikatoppføringer.

Trinn 1: Klargjør dataene

Først må du legge dataene inn i Datablist.

1. Opprett en samling: Klikk på «+»-knappen i sidepanelet for å opprette en ny samling.

2. Importer data: Importer dataene fra en CSV- eller Excel-fil. Hvis dataene kommer fra flere filer, importerer du dem til samme samling. Datablist hjelper deg med å tilordne kolonnene til de riktige egenskapene. Kontroller at feltet du vil standardisere (for eksempel bedriftsnavn), og feltene du skal bruke til å identifisere duplikater (for eksempel e-postadresse eller nettsted), importeres riktig.

I disse eksempeldataene ser vi allerede noen dupliserte bedriftsnavn som må standardiseres.

Trinn 2: Finn duplikater

Nå skal du identifisere duplikatoppføringene.

2.a. Åpne Duplicates Finder

Åpne Clean > Merge duplicates.

2.b. Velg identifikatorer for deduplisering

Velg egenskapen eller egenskapene som entydig identifiserer et duplikat.

Bruk et felles nettsted eller en bedrifts-ID når dette er tilgjengelig. Hvis du bare har navn, følger du veiledningen for matching av bedriftsnavn og kontrollerer hver gruppe før du standardiserer den. Lignende navn og ulike selskapsendelser kan tilhøre forskjellige juridiske enheter.

For selskaper kan du også bruke Website URL eller LinkedIn Company Page URL.

For kontakter er Email og Phone Number vanlige valg.

2.c. Konfigurer algoritmen

I neste trinn velger du matchingalgoritmen.

«Smart» fungerer ofte godt for URL-er og e-postadresser fordi den håndterer mindre variasjoner. «Exact» er strengere. For navn kan du også bruke fonetisk eller fuzzy matching.

Velg riktig Processor for feltet du bruker til å identifisere duplikater. Bruk Url for et nettsted eller Email for en e-postadresse. Velg Company Name når du matcher varianter av bedriftsnavn.

Prosessoren endrer hvordan verdiene sammenlignes, men redigerer ikke de lagrede cellene. Du kan gruppere etter Website URL her og likevel standardisere Company Name i AI-trinnet senere. Identifikatoren som brukes til matching, og feltet du vil oppdatere, har ulike formål.

2.c. Kjør duplikatkontrollen

Klikk på Run duplicates check.

Datablist analyserer dataene og viser grupper med mulige duplikater.

Trinn 3: Velg AI Processing

Velg Custom with AI på resultatsiden for duplikater. De eldre skjermbildene nedenfor viser det tidligere navnet AI Editing. Denne modusen genererer et skript basert på instruksjonene dine og et lite utvalg oppføringer, før endringene forhåndsvises.

Trinn 4: Skriv en prompt for standardisering

Her forteller du AI-en hva den skal gjøre. Du må be den om å:

1. Finne den vanligste verdien for målegenskapen i hver duplikatgruppe.
2. Oppdatere alle oppføringene i gruppen med denne felles verdien for den aktuelle egenskapen.
3. Presisere at ingen oppføringer skal slettes.

Her er et eksempel på en prompt som standardiserer egenskapen /Company Name:

Slik er prompten bygget opp:

• Standardiser egenskapen /CompanyName ...: Angir målfeltet. Bruk /PropertyName eller {{PropertyName}} for å referere til kolonnene dine.
• ... tell de ikke-tomme verdiene ved hjelp av eksakte teksttreff.: Definerer hvordan standardverdien skal velges. Tomme verdier kan ikke vinne, og grupper med delt førsteplass blir stående til manuell kontroll. Du kan også bruke andre kriterier, som «lengste verdi» eller «korteste verdi», eller referere til et annet felt (for eksempel «bruk verdien fra oppføringen med den nyeste /UpdatedAt-datoen»).
• Hopp over gruppen hvis alle /CompanyName-verdiene allerede er like.: Unngår unødvendig behandling.
• Ikke slett noen oppføringer.: Dette er avgjørende for å sikre at bare feltene oppdateres, uten at oppføringer slås sammen eller fjernes.

Trinn 5: Generer og forhåndsvis skriptet

Klikk på Generate and preview changes. Datablists AI tolker prompten og genererer et skript som utfører handlingen.

Du trenger ikke å skrive eller redigere noe skript selv.

• Script Explanation: Et sammendrag på vanlig engelsk av hva skriptet skal gjøre. Kontroller at dette samsvarer med hensikten din.
• Result Preview: En tabell som viser nøyaktig hvordan skriptet vil endre et utvalg av duplikatgruppene, før noen endringer utføres. Kontroller målfeltet (for eksempel /Company Name) i forhåndsvisningen, og sjekk at det viser den ønskede standardverdien på tvers av eksempelduplikatene.

En gruppe med Acme Ltd, Acme Ltd og Acme Limited skal for eksempel fortsatt ha tre rader, men alle skal inneholde Acme Ltd. En gruppe med én Acme Ltd og én Acme Limited skal forbli uendret fordi ingen av verdiene forekommer oftere enn den andre. Dette er eksempler på kontroller du kan gjøre i forhåndsvisningen, ikke faktiske måleresultater.

Kontroller både verdiene og antallet rader. Bekreft at tomme verdier bare fylles ut når det finnes en klar vinner, at grupper med delt førsteplass forblir uendret, og at kilde-ID-er og andre egenskaper bevares.

Trinn 6: Kjør skriptet

Hvis forklaringen og forhåndsvisningen ser riktige ut, klikker du på Run AI rules. Datablist kjører det genererte skriptet på alle duplikatgruppene som er identifisert.

Trinn 7: Kontroller endringene

Når skriptet er ferdig, viser Datablist et sammendrag og en nedlastbar Changes List.

Dette er nyttig når du skal gjenskape endringene i et eksternt system, for eksempel for å redigere CRM-leads.

Gå tilbake til hovedvisningen for samlingen. Der ser du at målfeltet (for eksempel /CompanyName) nå er konsekvent i oppføringene i hver duplikatgruppe, mens selve oppføringene fortsatt holdes atskilt.

Du har nå standardisert et felt på tvers av duplikater uten å slå dem sammen! 🚀

Når bør du standardisere uten å slå sammen?

Når er det lurt å standardisere et felt i stedet for å slå sammen oppføringene fullstendig?

• Standardisering av bedrifts- eller kontaktnavn: Rydd opp i varianter som «Eksempel AS» og «Eksempel A/S», eller «Jon Hansen» og «Jonathan Hansen», på tvers av duplikater før du velger en endelig strategi for sammenslåing.
• Rensing av stillingsbetegnelser: Samle titler som «VP Marketing», «Vice President Marketing» og «Marketing VP» under én betegnelse for å få konsekvent rapportering og analyse.
• Standardisering av steder: Sørg for konsekvente landnavn («NO», «Norge») eller fylkesnavn og forkortelser i dupliserte adresseoppføringer.
• Klargjøring for CRM-import eller -oppdatering: Standardiser viktige felt før data importeres til et CRM med strenge valideringsregler, selv om du beholder duplikatene midlertidig.
• Datarevisjon: Behold de opprinnelige duplikatoppføringene for revisjon eller historisk sporing, men standardiser viktige identifikatorer for å forenkle analysen.
• Trinnvis datarensing: Standardiser ett felt om gangen som del av en større prosess for datarensing, før du slår sammen eller sletter oppføringer.

Hvorfor standardisere i stedet for å slå sammen?

• Bevarer detaljnivået: De enkelte duplikatoppføringene forblir intakte. Det kan være nødvendig for å spore opprinnelse, bestemte interaksjoner eller historiske data knyttet til hver oppføring.
• Håndterer usikkerhet: Nyttig når duplikatene ikke er fullstendige treff. Standardisering av et viktig felt skaper konsekvens uten å tvinge frem en potensielt feil sammenslåing av oppføringer som har andre avvikende data.
• Trinnvis tilnærming: Gir en mer kontrollert prosess for datarensing. Standardiser først, kontroller resultatet, og avgjør senere om oppføringene skal slås sammen eller slettes.
• Enkelt og målrettet: Du standardiserer ett felt uten å påvirke resten av dataene i duplikatoppføringene.

Konklusjon

Start med en kontrollert gruppe, definer regelen for valg av verdi, og sjekk forhåndsvisningen. Når skriptet er kjørt, bekrefter du at antallet rader er uendret, og kontrollerer gruppene som ble hoppet over på grunn av delt førsteplass. Deretter kan du eksportere konsekvente navn samtidig som hver kildeoppføring holdes atskilt.

FAQ

1. Er AI Processing inkludert i Datablist-abonnementet mitt? AI Processing, inkludert generering og kjøring av skript for standardisering, er tilgjengelig med Datablists betalte abonnementer. Se prissiden vår for mer informasjon.

2. Kan jeg standardisere flere felt med én prompt? Ja, du kan skrive en prompt som standardiserer flere felt samtidig. For eksempel: «Standardiser egenskapen /Company Name med den vanligste verdien i hver gruppe. Standardiser egenskapen /Country med den vanligste verdien i hver gruppe. Ikke slett noen oppføringer.»

3. Hva gjør jeg hvis AI-en misforstår prompten? Les alltid skriptforklaringen nøye og kontroller resultatene i forhåndsvisningen før du kjører skriptet. Hvis forhåndsvisningen ikke er riktig, gjør prompten tydeligere og mer presis, og generer skriptet på nytt.

4. Kan jeg angre endringene fra AI-skriptet? Når skriptet er kjørt, utføres endringene direkte. Datablist har en angrefunksjon for nylige handlinger i den aktive økten, men det er likevel lurt å klone samlingen før du utfører omfattende datatransformasjoner som denne. Da kan du gå tilbake til utgangspunktet ved behov.

5. Hvordan skiller dette seg fra standardvalget «Combine conflicting properties»? Standardvalget «Combine» slår sammen duplikatoppføringer til én hovedoppføring og setter motstridende tekstverdier sammen i ett felt. Med riktig prompt vil AI Processing i stedet oppdatere feltet i alle duplikatoppføringene med én valgt verdi og holde alle oppføringene atskilt. Oppføringene slås ikke sammen, og verdiene settes ikke sammen med mindre du uttrykkelig ber om det.