Aby bezpiecznie usunąć zduplikowane wiersze CSV, dopasuj kolumnę, która jednoznacznie identyfikuje rekord, przejrzyj proponowane grupy, a następnie usuń zbędne wiersze lub scal wartości, które chcesz zachować. Ta metoda działa zarówno z jednym plikiem CSV, jak i z kilkoma plikami zaimportowanymi do tej samej kolekcji Datablist.
W pierwszej kolejności użyj adresu e-mail, numeru telefonu, strony internetowej firmy, SKU lub innego stabilnego identyfikatora. Jeśli wartości różnią się pisownią lub formatowaniem, zastosuj dopasowanie Smart, fuzzy albo phonetic, a niepewne grupy pozostaw do weryfikacji.
Scalanie duplikatów z plików CSV
Datablist świetnie sprawdza się przy operacjach na danych, których nie da się wygodnie wykonać w arkuszach kalkulacyjnych. Skorzystaj z niego, jeśli potrzebujesz dobrego edytora CSV online.
W tym poradniku będziemy pracować z dwoma plikami CSV zawierającymi tysiące wpisów. Wczytamy je do jednej kolekcji i usuniemy duplikaty na podstawie jednej z czterech kolumn. Deduplication działa również w przypadku pojedynczego pliku CSV.
Aby pobrać pliki CSV używane w poradniku: plik CSV 1 i plik CSV 2
Pliki do pobrania mają cztery nagłówki: firstname, lastname, email i profession (stanowisko). Plik 1 zawiera 1000 wierszy danych, a plik 2 — 1003, czyli łącznie 2003 wiersze przed usunięciem duplikatów. Chcemy scalić rekordy z tym samym adresem e-mail.
Jeśli pole e-mail zawiera kilka adresów w jednej komórce, przed wyszukiwaniem duplikatów podziel wielowartościowe komórki CSV na wiersze. Jeżeli plik źródłowy jest zbyt duży, aby bezpiecznie go zaimportować lub przejrzeć, podziel duży plik CSV przed deduplikacją.
Proces scalania duplikatów można podsumować w czterech krokach:
- Wczytaj pliki CSV do kolekcji Datablist
- Wybierz właściwości, na podstawie których chcesz wyszukać duplikaty
- Automatycznie scal duplikaty bez konfliktów
- Ręcznie scal pozostałe duplikaty
Krok 1: Wczytaj pliki CSV do kolekcji Datablist
Utwórz nową kolekcję
Pierwszym krokiem jest wczytanie pliku CSV do Datablist. Aby rozpocząć, otwórz Datablist — rejestracja nie jest wymagana.
Aby utworzyć nową kolekcję, kliknij przycisk „New collection” ze znakiem +. Po utworzeniu kolekcji nadaj jej nazwę i wybierz ikonę.
Następnie kliknij przycisk Import CSV.
Utwórz właściwości dla pliku CSV
Po wczytaniu pliku CSV możesz utworzyć właściwości kolekcji na podstawie nazw kolumn. Datablist wyświetla wszystkie kolumny znalezione w pliku CSV, dzięki czemu dla każdej z nich możesz utworzyć odpowiednią właściwość.
Pliki CSV nie zawierają informacji o typach kolumn. Datablist proponuje typy na podstawie importowanych wartości, aby ułatwić ich sortowanie i filtrowanie. Przed importem sprawdź te sugestie.
Identyfikatory, takie jak SKU, identyfikator konta czy kod pocztowy, najlepiej pozostawić jako Text. Przykładowo zamiana 00127 na Number usuwa początkowe zera i zmienia klucz dopasowania. Jeśli nie wiesz, którego typu użyć, zapoznaj się z przewodnikiem po typach właściwości.
Sprawdź dane i rozpocznij import
Na etapie weryfikacji zobaczysz wiersze bezpośrednio z pliku CSV. Upewnij się, że dane są poprawnie sformatowane i spójne. Następnie kliknij przycisk „Import items” — i gotowe! 💪
Powtórz proces dla pozostałych plików CSV
Gdy kolekcja i jej właściwości są już skonfigurowane, użyj procesu „Import CSV/Excel”, aby zaimportować pozostałe pliki CSV lub Excel do tej samej kolekcji.
Krok 2: Znajdź duplikaty
Po wczytaniu plików CSV otwórz Clean > Merge duplicates. Jeśli dodatkowe wiersze nie zawierają żadnych potrzebnych danych, wybierz zamiast tego Remove duplicates.
Dostępne są dwa tryby:
- All Properties porównuje całe wiersze.
- Selected Properties porównuje tylko kolumny identyfikujące rekord.
W tym przypadku właściwość email wystarczy do identyfikacji kontaktu, dlatego możesz wybrać tryb Selected Properties i właściwość email.
Aby odtworzyć wynik z dwóch plików używanych w poradniku, wybierz dopasowanie Exact dla pola email: otrzymasz osiem grup duplikatów, po dwa wiersze w każdej. Po sprowadzeniu każdej z ośmiu grup do jednego wiersza eksportowany plik CSV powinien zawierać 1995 wierszy danych, nie licząc nagłówka. Jeśli wynik jest inny, sprawdź, czy oba pliki zostały zaimportowane tylko raz, kolumną dopasowania jest email i żadna grupa nie pozostała nieprzetworzona.
Jeżeli aliasy lub dodatkowe elementy adresu powodują różnice między wartościami, skorzystaj z procesu przeznaczonego do adresów e-mail, aby usunąć również takie duplikaty.
Samo sprawdzanie nie zmienia danych. Obszar wyników wyświetla grupy, wyjaśnia przyczynę dopasowania i oddziela grupy Ready od wyników wymagających weryfikacji.
Usuń zduplikowane wiersze CSV bez scalania
Jeśli chcesz jedynie usunąć wiersze, wybierz Remove duplicates w obszarze wyników:
- Sprawdź ustawienie Record to keep. Domyślną opcją jest Most Complete; pozostałe reguły wyboru rekordu wymagają płatnego planu. Wybrany wiersz pozostanie niezmieniony.
- Otwórz kilka grup i porównaj wiersze oznaczone jako Keep oraz Remove. Sprawdź, czy wiersze przeznaczone do usunięcia nie zawierają numeru telefonu, notatki lub nowszej wartości, którą nadal chcesz zachować.
- Jeśli te wartości są ważne, wybierz Merge and preserve data i wykonaj Krok 3 opisany poniżej. Samo usuwanie nie kopiuje dodatkowych wartości do zachowanego wiersza.
- Gdy grupy Ready odpowiadają Twoim założeniom, kliknij Remove ready duplicates. Przed potwierdzeniem zapoznaj się z ostrzeżeniem o możliwej utracie danych.
Przykładowo dwa identyczne wiersze z tym samym adresem e-mail można zredukować do jednego. Jeśli jednak dwa wiersze mają ten sam e-mail, ale różne numery telefonu, musisz zdecydować: zachować jeden rekord bez zmian czy scalić numery telefonu w rekordzie docelowym.
Najpierw wybierz kolumny dopasowania, a dopiero potem zdecyduj, który wiersz ma pozostać. All Properties wykrywa identyczne całe wiersze. Selected Properties może połączyć ten sam kontakt w grupę nawet wtedy, gdy stanowiska lub numery telefonu się różnią. Sama wspólna strona internetowa firmy jest zbyt ogólnym kryterium, jeśli pracuje w niej kilka kontaktów.
Zachowaj oryginalne pliki CSV. Po zakończeniu porównaj liczbę usuniętych wierszy z liczbą zweryfikowanych grup, sprawdź zachowane identyfikatory i wyeksportuj oczyszczoną kolekcję do CSV. Wiersze nadal oczekujące na weryfikację mogą pozostać w kolekcji, dlatego ukończenie jednej partii nie oznacza, że wszystkie potencjalne duplikaty zostały rozwiązane.
Krok 3: Automatycznie scal i połącz duplikaty
Wybierz Merge and preserve data, gdy dodatkowe wiersze CSV zawierają przydatne wartości. Datablist wybierze jeden rekord docelowy, uzupełni puste właściwości i zastosuje reguły rozwiązywania konfliktów przed usunięciem pozostałych wierszy.
Podgląd oddziela grupy Ready od grup z nierozwiązanymi konfliktami. Pełny opis ustawień weryfikacji, survivorship i wyboru rekordów znajdziesz w dokumentacji Duplicate Finder.
Rozwiń Resolve conflicting values, aby zobaczyć, które właściwości nadal wymagają określenia reguły.
Scalanie wierszy bez konfliktów
Algorytm „Merge non-conflicting duplicates” wykonuje „smart merge”. Scala rekordy zawierające podobne lub uzupełniające się wartości.
Przykładowe duplikaty:
email | Imię | Nazwisko
james@gmail.com | James
james@gmail.com | | Bond
Zostaną scalone w ten sposób:
email | Imię | Nazwisko
james@gmail.com | James | Bond
Łączenie wartości z duplikatów
Łączenie, czyli konsolidacja wartości z duplikatów, sprawdza się idealnie, gdy rekordy zawierają sprzeczne wartości, ale nadal chcesz je scalić bez utraty danych.
Przykładowo właściwość Phone można połączyć za pomocą średnika:
email | Phone | Imię | Nazwisko
james@gmail.com | +33 1 34 65 23 | James |
james@gmail.com | 06 13 42 78 23 | | Bond
Wynik będzie wyglądać tak:
email | Phone | Imię | Nazwisko
james@gmail.com | +33 1 34 65 23;06 13 42 78 23 | James | Bond
Można łączyć każdą właściwość zawierającą tekst. Dostępne separatory to line break, semi-colon, comma i space. Podczas jednego scalania możesz połączyć jedną właściwość lub kilka.
Scalanie zduplikowanych rekordów i łączenie wartości doskonale sprawdza się przy czyszczeniu leadów i danych CRM. Scal wszystkie zduplikowane leady i połącz właściwości Phone, Email oraz Notes, aby uzyskać uporządkowaną listę. Po wyeksportowaniu oczyszczonego pliku CSV z leadami wystarczy ponownie zaimportować go do CRM.
Zachowaj wartość z wybranego rekordu
Ta reguła zachowuje wartość z wybranego rekordu docelowego i odrzuca pozostałe wartości powodujące konflikt.
Most Complete to domyślna reguła Record to keep. W płatnych planach można wybrać inne reguły lub niezależnie wskazywać wartości poszczególnych pól za pomocą reguł survivorship.
Użyj opcji drop conflicting values w przypadku:
- Właściwości technicznych, takich jak
Account Id, które wymagają jednej wartości. - Właściwości typu „Relation”, które nie mogą mieć wielu wartości, na przykład
Lead ownerlubAccount. - Właściwości innych niż tekstowe, których nie da się połączyć, na przykład dat i godzin, takich jak
Last ActivityczyContacted on, oraz pól wyboru.
Krok 4: Ręczne scalanie duplikatów
Otwórz Review group, gdy dana grupa duplikatów wymaga ręcznej decyzji. Merging Assistant umożliwia wybór rekordu docelowego oraz wartości, którą chcesz zachować dla każdej właściwości.
Ręcznie wybrany rekord docelowy zachowuje swój identyfikator Datablist. Pozostałe wiersze stają się rekordami dodatkowym.
Sprawdź każdą właściwość, wybierz wartości do zachowania i potwierdź scalanie. Możesz również wykluczyć wybrany wiersz z grupy duplikatów lub pominąć całą grupę.
W razie potrzeby wyeksportuj dane do CSV
Gratulacje — duplikaty z Twoich plików CSV zostały usunięte! Jeśli chcesz wykorzystać wynik w innym narzędziu, kliknij przycisk „Export”, aby wyeksportować kolekcję do nowego pliku CSV.
FAQ
Jakie inne operacje na danych oferuje Datablist?
Pliki CSV są powszechnie używane do przechowywania ustrukturyzowanych danych dla aplikacji i zbiorów danych. Mimo ich popularności przetwarzanie CSV bywa trudne i często wymaga wiedzy technicznej.
Do prostych operacji wystarczą arkusze kalkulacyjne. Ich możliwości są jednak ograniczone, gdy trzeba:
Jeśli masz kilka plików CSV i chcesz je połączyć za pomocą unikalnej kolumny, przejdź do poradnika dotyczącego łączenia plików CSV.
Czy Datablist obsługuje duże pliki CSV?
Plan Free obsługuje do miliona elementów w jednej kolekcji przechowywanej w pamięci przeglądarki. Płatne plany umożliwiają import do dwóch milionów elementów na kolekcję. Wydajność dużych operacji lokalnych nadal zależy od przeglądarki i urządzenia. Zobacz, jak edytować duże pliki CSV.
Czy algorytm deduplikacji jest lepszy od funkcji „usuń duplikaty” w Microsoft Excel i Google Sheets?
Arkusze kalkulacyjne, takie jak Microsoft Excel i Google Sheets, mają narzędzia do usuwania duplikatów. Działają one przez kasowanie podobnych wierszy. W zastosowaniach biznesowych samo usunięcie wierszy często nie jest najlepszym rozwiązaniem.
Datablist wyświetla grupy duplikatów przed wprowadzeniem zmian w pliku. Możesz usunąć zbędne wiersze, scalić uzupełniające się wartości, rozwiązać konflikty lub pozostawić niepewne grupy bez zmian.
Jeśli masz pytania, skontaktuj się z nami.