Jak ujednolicić wartości duplikatów bez scalania

Aby ujednolicić wartości pól bez scalania wierszy, znajdź rekordy dotyczące tego samego podmiotu, wybierz jedną wartość pola docelowego i skopiuj ją do całej grupy. W Datablist użyj opcji Custom with AI w Duplicates Finder i wyraźnie zaznacz, że wszystkie rekordy mają zostać zachowane.

Przed ujednoliceniem nazw firm najlepiej pogrupować ich rekordy według wiarygodnego identyfikatora, na przykład strony internetowej. Sama podobna nazwa nie dowodzi, że dwie firmy są tym samym podmiotem. Zachowanie oddzielnych wierszy pozwala utrzymać ich identyfikatory i informacje o źródle, ale błędne grupowanie może spowodować przypisanie im niewłaściwej nazwy.

Z tego poradnika dowiesz się, jak ujednolicić wybrane wartości pól w grupach duplikatów, zachowując poszczególne rekordy:

• Czym jest normalizacja danych?
• AI Processing w Duplicates Finder
• Jak ujednolicić dane w duplikatach krok po kroku

Czym jest normalizacja danych?

W tym kontekście normalizacja danych oznacza sprowadzenie ich do spójnego formatu. W przypadku duplikatów rozbieżności często występują w konkretnych polach. Na przykład:

• Nazwy firm: „Tech Solutions Inc.”, „Tech Solutions, LLC”, „Tech Solutions”
• Stanowiska: „Software Engineer”, „Software Dev.”, „Eng., Software”
• Adresy: „123 Main St”, „123 Main Street”, „123 main st”
• Kraje: „Polska”, „PL”, „Rzeczpospolita Polska”

Celem normalizacji jest wybranie jednej standardowej wartości — na przykład „Tech Solutions” lub „Polska” — i zastosowanie jej w odpowiednim polu we wszystkich rekordach rozpoznanych jako duplikaty.

Dzięki temu dane stają się czystsze, łatwiejsze do analizy i bardziej wiarygodne podczas filtrowania lub raportowania, nawet jeśli duplikaty pozostają oddzielnymi rekordami. To jeden z kluczowych etapów czyszczenia danych.

AI Processing w Duplicates Finder

Duplicates Finder w Datablist to skuteczne narzędzie do wykrywania podobnych rekordów. Oprócz rozbudowanych opcji automatycznego i ręcznego scalania duplikatów tryb AI Processing zapewnia dodatkową elastyczność.

Zamiast korzystać z gotowych reguł scalania, możesz samodzielnie określić logikę za pomocą promptu w języku naturalnym. Wystarczy dokładnie opisać AI, jak ma przetworzyć duplikaty. Możesz między innymi:

• Wybrać rekord główny na podstawie określonych kryteriów, na przykład daty ostatniej aktualizacji.
• Scalić wybrane pola, pozostawiając pozostałe bez zmian.
• Wykonać obliczenia podczas scalania, takie jak sumowanie wartości.
• 👉 A co najważniejsze w tym poradniku: zaktualizować wybrane pole we wszystkich duplikatach do jednej, ujednoliconej wartości bez scalania rekordów.

W ten sposób złożone skrypty do przetwarzania danych zastępuje prosta rozmowa z naszym AI.

Jak ujednolicić dane w duplikatach krok po kroku

Zobaczmy krok po kroku, jak użyć AI Processing do ujednolicenia pola, na przykład nazwy firmy, w zduplikowanych rekordach.

Krok 1: Przygotuj dane

Najpierw dodaj dane do Datablist.

1. Utwórz kolekcję: Kliknij przycisk „+” na pasku bocznym, aby utworzyć nową kolekcję.

2. Zaimportuj dane: Zaimportuj dane z pliku CSV lub Excel. Jeśli pochodzą z kilku plików, dodaj je do tej samej kolekcji. Datablist przeprowadzi Cię przez proces mapowania kolumn do właściwości. Upewnij się, że pole, które chcesz ujednolicić, na przykład Company Name, oraz pola służące do identyfikowania duplikatów, takie jak Email lub Website, zostały prawidłowo zaimportowane.

W przykładowych danych już widać zduplikowane nazwy firm, które wymagają ujednolicenia.

Krok 2: Znajdź duplikaty

Teraz zidentyfikuj zduplikowane rekordy.

2.a. Otwórz Duplicates Finder

Otwórz Clean > Merge duplicates.

2.b. Wybierz identyfikatory duplikatów

Wybierz właściwość lub właściwości, które jednoznacznie wskazują duplikat.

Jeśli masz wspólną stronę internetową lub identyfikator firmy, wykorzystaj te dane. Jeśli dysponujesz tylko nazwami, skorzystaj z poradnika dopasowywania nazw firm i sprawdź każdą grupę przed ujednoliceniem. Podobne nazwy i różne przyrostki formy prawnej mogą dotyczyć odrębnych podmiotów.

W przypadku firm możesz również użyć Website URL lub LinkedIn Company Page URL.

W przypadku kontaktów popularnym wyborem są Email lub Phone Number.

2.c. Skonfiguruj algorytm

W następnym kroku wybierz algorytm dopasowania.

Opcja „Smart” zwykle dobrze sprawdza się w przypadku adresów URL i e-mail, ponieważ uwzględnia drobne różnice. „Exact” wymaga pełnej zgodności. Do nazw możesz również zastosować dopasowanie fonetyczne lub przybliżone.

Wybierz Processor odpowiedni dla pola używanego do identyfikowania duplikatów. Dla strony internetowej użyj Url, a dla adresu e-mail — Email. Jeśli dopasowujesz warianty nazw firm, wybierz Company Name.

Processor zmienia sposób porównywania wartości, ale nie modyfikuje zapisanych komórek. Możesz na tym etapie grupować dane według Website URL, a później ujednolicić Company Name za pomocą AI. Identyfikator dopasowania i pole przeznaczone do aktualizacji pełnią różne funkcje.

2.c. Uruchom sprawdzanie

Kliknij Run duplicates check.

Datablist przeanalizuje dane i wyświetli grupy potencjalnych duplikatów.

Krok 3: Wybierz tryb AI Processing

Na stronie z wynikami wyszukiwania duplikatów wybierz Custom with AI. Starsze zrzuty ekranu poniżej pokazują poprzednią nazwę tej funkcji: AI Editing. Tryb ten generuje skrypt na podstawie Twoich instrukcji i niewielkiej próbki rekordów, a następnie wyświetla podgląd zmian.

Krok 4: Napisz prompt do normalizacji

Na tym etapie określasz, co AI ma zrobić. W instrukcji należy wskazać, aby:

1. Znaleźć najczęściej występującą wartość właściwości docelowej w każdej grupie duplikatów.
2. Zaktualizować wszystkie rekordy w grupie, wpisując tę wartość w określonej właściwości.
3. Wyraźnie zaznaczyć, aby nie usuwać żadnych rekordów.

Oto przykładowy prompt ujednolicający właściwość /Company Name:

Jak działa ten prompt:

• Ujednolić właściwość /CompanyName...: Określa pole docelowe. Aby odwołać się do kolumn, użyj składni /PropertyName lub {{PropertyName}}.
• ...policz niepuste wartości, stosując dokładne dopasowanie tekstu.: Określa sposób wyboru wartości standardowej. Puste pola nie mogą wygrać, a grupa z remisem zostaje pominięta i wymaga weryfikacji. Możesz też zastosować inne kryteria, takie jak „najdłuższa wartość”, „najkrótsza wartość” albo odwołanie do innego pola, na przykład „użyj wartości z rekordu o najnowszej dacie /UpdatedAt”.
• Pomiń grupę, jeśli wszystkie wartości /CompanyName są już takie same.: Pozwala uniknąć zbędnego przetwarzania.
• Nie usuwaj żadnych rekordów.: To kluczowa instrukcja, dzięki której aktualizowane są wyłącznie pola, a rekordy nie zostają scalone ani usunięte.

Krok 5: Wygeneruj skrypt i sprawdź podgląd

Kliknij Generate and preview changes. AI w Datablist zinterpretuje prompt i wygeneruje skrypt wykonujący wskazane działanie.

Nie musisz samodzielnie pisać ani edytować żadnego skryptu.

• Script Explanation: Zrozumiałe podsumowanie działania skryptu. Sprawdź, czy odpowiada Twoim założeniom.
• Result Preview: Tabela pokazująca dokładnie, jak skrypt zmodyfikuje próbkę grup duplikatów, zanim zostaną wprowadzone jakiekolwiek zmiany. Sprawdź w podglądzie pole docelowe, na przykład /Company Name, i upewnij się, że wszystkie przykładowe duplikaty otrzymają oczekiwaną, ujednoliconą wartość.

Na przykład grupa zawierająca Acme Ltd, Acme Ltd i Acme Limited powinna nadal mieć trzy wiersze, ale każdy z wartością Acme Ltd. Grupa z jedną wartością Acme Ltd i jedną Acme Limited powinna pozostać bez zmian, ponieważ żadna z nich nie występuje częściej. Są to przykładowe kryteria kontroli podglądu, a nie wyniki rzeczywistego pomiaru.

Sprawdź zarówno wartości, jak i liczbę wierszy. Upewnij się, że puste pola są uzupełniane tylko wtedy, gdy istnieje jednoznacznie najczęstsza wartość, grupy z remisem pozostają bez zmian, a identyfikatory źródłowe i pozostałe właściwości zostają zachowane.

Krok 6: Uruchom skrypt

Jeśli opis i podgląd są prawidłowe, kliknij Run AI rules. Datablist wykona wygenerowany skrypt dla wszystkich zidentyfikowanych grup duplikatów.

Krok 7: Sprawdź zmiany

Po zakończeniu działania skryptu Datablist wyświetli podsumowanie i umożliwi pobranie Changes List.

📘 Przydatne przy aktualizacji systemów zewnętrznych

Lista przydaje się, gdy chcesz odtworzyć zmiany w systemie zewnętrznym, na przykład podczas edycji leadów w CRM.

Wróć do głównego widoku kolekcji. Zobaczysz, że pole docelowe, na przykład /CompanyName, ma teraz spójną wartość we wszystkich rekordach należących do danej grupy duplikatów, a same rekordy pozostały oddzielne.

Gotowe — pole w duplikatach zostało ujednolicone bez scalania rekordów! 🚀

Kiedy ujednolicać dane bez scalania?

W jakich sytuacjach warto ujednolicić pole zamiast całkowicie scalać rekordy?

• Standaryzacja nazw firm lub kontaktów: Uporządkuj warianty takie jak „Example Ltd”, „Example Limited” albo „Jan Kowalski”, „J. Kowalski” przed wyborem ostatecznej strategii scalania.
• Porządkowanie stanowisk: Ujednolić nazwy takie jak „VP Marketing”, „Vice President Marketing” i „Marketing VP”, aby zapewnić spójność raportów oraz analiz.
• Normalizacja lokalizacji: Ujednolić nazwy krajów, na przykład „PL” i „Polska”, lub zapisy województw w zduplikowanych rekordach adresowych.
• Przygotowanie do importu lub aktualizacji CRM: Ustandaryzuj kluczowe pola przed importem danych do CRM, który może stosować rygorystyczne reguły walidacji, nawet jeśli tymczasowo zachowujesz duplikaty.
• Audyt danych: Zachowaj oryginalne duplikaty na potrzeby audytu lub śledzenia historii, a jednocześnie ujednolić kluczowe identyfikatory, aby ułatwić analizę.
• Stopniowe czyszczenie: Normalizuj kolejne pola w ramach szerszego procesu czyszczenia danych, zanim zdecydujesz się na pełne scalenie lub usunięcie rekordów.

Dlaczego warto normalizować zamiast scalać?

• Zachowanie szczegółowości rekordów: Poszczególne duplikaty pozostają nienaruszone, co może być niezbędne do śledzenia ich źródeł, konkretnych interakcji lub danych historycznych przypisanych do każdego rekordu.
• Bezpieczne zarządzanie niepewnością: To dobre rozwiązanie, gdy duplikaty nie są idealnie zgodne. Normalizacja kluczowego pola zapewnia spójność bez ryzyka błędnego scalenia rekordów różniących się innymi danymi.
• Etapowe podejście: Zapewnia większą kontrolę nad czyszczeniem danych. Najpierw ujednolicisz wartości, a później sprawdzisz rekordy i zdecydujesz o ich scaleniu lub usunięciu.
• Prostota: To precyzyjna operacja — ujednolicasz jedno pole, nie ingerując w pozostałe dane zduplikowanych rekordów.

Podsumowanie

Zacznij od zweryfikowanej grupy, zdefiniuj regułę wyboru wartości i sprawdź podgląd. Po uruchomieniu skryptu upewnij się, że liczba wierszy się nie zmieniła, oraz przejrzyj grupy pominięte z powodu remisu. Następnie możesz wyeksportować spójne nazwy, zachowując każdy rekord źródłowy oddzielnie.

FAQ

1. Czy AI Processing jest dostępne w moim planie Datablist? AI Processing, w tym generowanie i uruchamianie skryptów normalizujących dane, jest dostępne w płatnych planach Datablist. Szczegóły znajdziesz na stronie z cennikiem.

2. Czy jednym promptem można ujednolicić kilka pól? Tak. Możesz napisać prompt, który ujednolici kilka pól jednocześnie. Na przykład: „Ujednolić właściwość /Company Name, używając najczęściej występującej wartości w każdej grupie. Ujednolić właściwość /Country, używając najczęściej występującej wartości w każdej grupie. Nie usuwać żadnych rekordów”.

3. Co zrobić, jeśli AI źle zinterpretuje prompt? Przed uruchomieniem skryptu zawsze dokładnie sprawdź jego opis i podgląd wyników. Jeśli podgląd jest nieprawidłowy, doprecyzuj prompt, a następnie ponownie wygeneruj skrypt.

4. Czy można cofnąć zmiany wprowadzone przez skrypt AI? Po uruchomieniu skryptu zmiany są stosowane bezpośrednio. Datablist oferuje funkcję cofania ostatnich działań w ramach bieżącej sesji, jednak przed przeprowadzeniem istotnych przekształceń danych warto sklonować kolekcję. Pozwoli to wrócić do wcześniejszej wersji, jeśli zajdzie taka potrzeba.

5. Czym różni się to od standardowej opcji scalania „Combine conflicting properties”? Standardowa opcja „Combine” scala zduplikowane rekordy w jeden rekord główny i łączy sprzeczne wartości tekstowe w jednym polu. AI Processing z odpowiednim promptem aktualizuje pole we wszystkich duplikatach, przypisując im jedną wybraną wartość, i pozostawia każdy rekord oddzielnie. Rekordy nie są scalane, a wartości nie są łączone, chyba że wyraźnie zażądasz tego w prompcie.