Jak sumować wartości liczbowe przy scalaniu duplikatów

Aby scalić duplikaty i zsumować wartości liczbowe, pogrupuj wiersze według stałego identyfikatora, takiego jak SKU, wybierz rekord, który ma zostać zachowany, i dodaj wartości liczbowe ze wszystkich elementów danej grupy. Narzędzie Duplicates Finder w Datablist pozwala opisać te reguły, wyświetlić podgląd wygenerowanego skryptu, a następnie go zastosować.

Najpierw sprawdź, co reprezentuje każdy wiersz. Sumuj oddzielne wartości składowe, na przykład zapasy znajdujące się w różnych magazynach. Jeśli dwa wiersze pochodzą z powtórzonych eksportów tego samego stanu magazynowego, ich dodanie spowoduje podwójne naliczenie zapasów. W takim przypadku zachowaj najnowszy stan.

Jeśli chcesz osobno sprawdzić całą kolumnę, skorzystaj z instrukcji wykonywania obliczeń liczbowych w plikach CSV, aby przeanalizować sumy i zakresy przed scaleniem lub po nim. Te obliczenia podsumowują wartości, ale nie określają, które wiersze są duplikatami.

Przykładowo trzy wiersze dla SKU A-100, zawierające stany magazynowe 12, 8 i 5 z trzech różnych magazynów, powinny dać jeden wiersz ze stanem 25. Podczas sprawdzania, czy dana wartość została już uwzględniona, weź pod uwagę identyfikatory magazynów lub transakcji.

Ten poradnik pokazuje krok po kroku, jak sumować wartości liczbowe podczas scalania duplikatów:

• Przygotowanie danych
• Jak znaleźć duplikaty
• Jak sumować wartości podczas scalania duplikatów

Przygotowanie danych

Zanim zaczniesz scalać rekordy i sumować wartości, musisz wczytać dane do Datablist. Zacznijmy od utworzenia kolekcji i zaimportowania pliku.

Krok 1: Utwórz kolekcję

W Datablist kolekcje służą do porządkowania danych. Możesz traktować je jak inteligentne arkusze kalkulacyjne. Aby utworzyć nową kolekcję, kliknij przycisk „+” na pasku bocznym albo skrót „Start with a CSV/Excel file” na ekranie głównym.

Krok 2: Zaimportuj plik

Dane można importować z różnych źródeł, ale w tym przykładzie użyjemy pliku CSV lub Excel. Kliknij „Import CSV/Excel” i prześlij swój plik.

Datablist obsługuje duże pliki, więc setki tysięcy wierszy nie stanowią problemu.

Datablist automatycznie rozpoznaje typy kolumn, takie jak Text, Number, Date czy Email.

⚠️ Ważne: Upewnij się, że kolumna, którą chcesz zsumować (np. /Stock), została prawidłowo rozpoznana jako typ Number. W przeciwnym razie możesz zmienić jej typ ręcznie podczas importowania.

Krok 3: Sprawdź zaimportowane dane

Po zakończeniu importowania szybko przejrzyj kolekcję i upewnij się, że wszystko wygląda prawidłowo. Wiersze i kolumny powinny być gotowe do czyszczenia.

Jak znaleźć duplikaty

Dane są już wczytane, więc czas znaleźć duplikaty.

Krok 4: Uruchom Duplicates Finder

Otwórz Clean > Merge duplicates.

Krok 5: Wybierz identyfikatory do deduplikacji

Musisz wskazać Datablist, jak rozpoznawać powielone elementy.

Wybierz właściwość, która jednoznacznie identyfikuje element na liście. Może to być adres Email, Product SKU, Company Name albo kombinacja kilku pól.

W tym przykładzie dotyczącym zapasów użyj pola SKU, aby pogrupować ten sam produkt. Sama nazwa produktu może być wspólna dla różnych rozmiarów lub wariantów, dlatego korzystaj z niej dopiero po sprawdzeniu tych różnic.

Krok 6: Wybierz algorytm dopasowania i Processor

Następnie wybierz algorytm porównywania.

W przypadku SKU produktu zacznij od opcji Exact. Jeśli wielkie i małe litery oznaczają różne produkty, włącz Case sensitive. W przeciwnym razie wartości A-100 i a-100 mogą zostać dopasowane, a ich stany magazynowe — zsumowane.

Dla pól Email lub URL opcja Smart może normalizować warianty za pomocą odpowiedniego Processor. Przed zaakceptowaniem dopasowania sprawdź te ustawienia. Opis działania Smart matching wyjaśnia, co zmienia każdy etap normalizacji.

Możesz także wybrać „Processor”, aby znormalizować dane przed porównaniem, na przykład przez oczyszczenie adresów e-mail lub URL.

Kliknij Run duplicates check.

Krok 7: Wyświetl podgląd grup duplikatów

Datablist przeanalizuje dane i wyświetli grupy potencjalnych duplikatów. Zanim przejdziesz do scalania, przejrzyj je i potwierdź, że faktycznie zawierają powielone rekordy.

Sumowanie wartości z AI Processing

Wybierz Custom with AI, aby wygenerować reguły dla każdej grupy duplikatów. Generator widzi jedynie niewielką próbkę elementów, dlatego określ zasady dotyczące brakujących liczb, nieprawidłowych dat i remisów — nie zakładaj, że sam wykryje każdy przypadek.

Krok 8: Wybierz tryb AI Processing

Na stronie z wynikami wyszukiwania duplikatów wybierz Custom with AI. Starsze zrzuty ekranu poniżej pokazują poprzednią nazwę: AI Editing.

Ten tryb pozwala definiować własną logikę scalania za pomocą promptów w języku naturalnym.

Krok 9: Napisz prompt dla AI

To najważniejszy etap całego procesu. Napisz prompt wyjaśniający, w jaki sposób Datablist ma scalać grupy duplikatów.

Prompt powinien zawierać dwa kluczowe elementy:

1. Wybór rekordu głównego: Wyjaśnij AI, jak wybrać główny rekord („master”), który zostanie zachowany po scaleniu. Możesz zastosować takie kryteria jak „rekord z najnowszą datą w polu /Property”, „najbardziej kompletny rekord” albo „rekord utworzony jako pierwszy”.
2. Sumowanie wartości: Poleć AI zsumowanie wartości z określonego pola liczbowego we wszystkich rekordach grupy — łącznie z rekordem głównym — oraz zapisanie wyniku w tym samym polu rekordu głównego.

Do wskazywania kolumn w kolekcji używaj składni /PropertyName lub {{PropertyName}}.

Poniżej znajdziesz przykładowy prompt, który sumuje właściwość /Stock i wybiera rekord główny na podstawie najnowszej wartości /Date:

Ten prompt celowo pozostawia pozostałe wartości wybranego rekordu bez zmian. Jeśli inne wiersze zawierają przydatne notatki lub identyfikatory, przed ich usunięciem określ sposób zachowania tych pól. Jeśli chcesz zachować wszystkie wiersze, zobacz, jak normalizować wartości duplikatów bez ich scalania.

Reguła dla pola Stock odróżnia pustą wartość od nieprawidłowego tekstu. Uwzględnia też zachowany rekord dokładnie jeden raz, zapobiegając częstemu błędowi polegającemu na pominięciu jego wartości lub dodaniu jej dwukrotnie.

Krok 10: Sprawdź prompt i wygeneruj skrypt

Przejrzyj prompt. Upewnij się, że nazwy kolumn, takie jak /Date i /Stock, są prawidłowe. Gdy wszystko będzie gotowe, kliknij Generate and preview changes.

Sprawdzanie i uruchamianie skryptu AI

AI w Datablist nie wykonuje polecenia bez żadnej kontroli. Najpierw na podstawie promptu generuje skrypt JavaScript i wyświetla jego podgląd.

Krok 11: Poczekaj na zakończenie przetwarzania

AI potrzebuje chwili, aby zinterpretować prompt i przygotować odpowiedni skrypt.

Krok 12: Przeczytaj opis działania skryptu

Datablist wyświetli wyjaśnienie działania wygenerowanego skryptu. Sprawdź, czy system AI prawidłowo zrozumiał Twoje zamierzenia.

Krok 13: Sprawdź podgląd wyników skryptu

Co ważniejsze, Datablist pokazuje, jak skrypt wpłynie na dane, zanim go uruchomisz.

Przejrzyj podgląd i sprawdź przynajmniej jedną grupę, samodzielnie dodając jej wartości. Zweryfikuj również pustą wartość, zero, nieprawidłową liczbę i przypadek dwóch identycznych najnowszych dat. Grupy pominięte zgodnie z regułami powinny pozostać bez zmian.

Podgląd pokaże proponowany stan rekordu głównego po scaleniu i zsumowaniu. Upewnij się, że pole liczbowe, na przykład /Stock, zawiera prawidłową sumę wartości z rekordów należących do grupy duplikatów.

Krok 14: Sprawdź przykładowy podgląd rekordu głównego

Przyjrzyjmy się dokładniej podglądowi konkretnej grupy. Rekordem głównym jest rekord z najnowszą datą, zgodnie z instrukcją zawartą w prompcie.

Krok 15: Uruchom skrypt

Jeśli podgląd jest prawidłowy, a sumy zostały obliczone zgodnie z oczekiwaniami, kliknij Run AI rules. Datablist zastosuje logikę scalania i sumowania do wszystkich wykrytych grup duplikatów w kolekcji.

Krok 16: Zweryfikuj wyniki

Po wykonaniu skryptu powielone rekordy zostaną scalone zgodnie z podanymi instrukcjami.

Wróć do głównego widoku kolekcji. W zaakceptowanych grupach powinien pozostać jeden rekord zawierający zsumowaną wartość. Grupy pominięte zgodnie z regułami powinny pozostać bez zmian.

Sprawdź zsumowaną kolumnę, na przykład /Stock. Powinna teraz zawierać łączne wartości dla elementów, które wcześniej występowały wielokrotnie.

Porównaj łączny stan magazynowy zaakceptowanych grup przed przetwarzaniem i po nim. Jeśli konsolidujesz odrębne wartości składowe, suma powinna pozostać taka sama. Przed eksportem sprawdź osobno pominięte grupy.

Udało Ci się wykorzystać AI Processing nie tylko do scalania duplikatów, lecz także do wykonywania obliczeń, takich jak sumowanie wartości. Oszczędzasz w ten sposób dużo pracy ręcznej i zwiększasz dokładność danych.

Zastosowania

Funkcja sumowania oparta na AI jest niezwykle wszechstronna. Oto kilka scenariuszy, w których sprawdzi się szczególnie dobrze:

• Zarządzanie zapasami: Importujesz listy produktów od wielu dostawców lub z różnych magazynów, przez co ten sam produkt pojawia się w kilku rekordach. Użyj AI Processing, aby je scalić, wybrać rekord z najnowszą datą aktualizacji jako główny i zsumować wartości /QuantityOnHand ze wszystkich duplikatów. Otrzymasz w ten sposób prawidłowy łączny stan magazynowy.
• Konsolidacja danych sprzedażowych: Dane sprzedażowe pochodzą z różnych regionów lub platform, co prowadzi do powstawania duplikatów dotyczących tego samego klienta albo sprzedaży produktu w danym okresie. Scal je na podstawie pól CustomerID i ProductID, wybierz rekord z najwcześniejszą wartością SaleDate, a następnie zsumuj pola /UnitsSold oraz /Revenue, aby uzyskać skonsolidowane wyniki sprzedaży.
• Agregowanie danych finansowych: Dodawaj oddzielne transakcje do sum dla poszczególnych kategorii dopiero po sprawdzeniu ich identyfikatorów. Dwa wyciągi mogą zawierać tę samą transakcję — przed sumowaniem usuń powtórzone kopie i nie łącz różnych walut.
• Zarządzanie projektami: Łączysz wpisy dotyczące tego samego etapu projektu, pochodzące z aktualizacji różnych członków zespołu. Scal je na podstawie pól ProjectID i MilestoneName, zachowaj rekord z najnowszą wartością StatusUpdateDate i zsumuj pole /HoursLogged, aby obliczyć całkowity nakład pracy.
• Scalanie zamówień e-commerce: Łączysz wiele pozycji dotyczących tego samego produktu w jednym zamówieniu klienta, które mogły zostać wprowadzone oddzielnie. Usuń duplikaty na podstawie pól OrderID i ProductID, zachowaj jedną pozycję oraz zsumuj pola /Quantity i /ItemTotal.

FAQ

P1: Co zrobić, jeśli moja kolumna liczbowa nie została rozpoznana jako typ „Number”? Podczas importowania upewnij się, że kolumna ma ustawiony typ Number. Jeśli została już zaimportowana jako Text, przed uruchomieniem Duplicates Finder możesz użyć narzędzia „Convert Text to...” z menu „Clean”, aby przekonwertować ją na typ Number. Funkcja sumowania AI wymaga pola o typie liczbowym.

P2: Czy w jednym prompcie można zsumować kilka kolumn liczbowych? Tak! Możesz rozbudować prompt o instrukcje sumowania wielu pól. Na przykład:

Użyj powyższego promptu i dodaj regułę sumującą /SalesCount, z takim samym sposobem obsługi pustych oraz nieprawidłowych wartości. Określ, które pola w zachowanym rekordzie mają pozostać bez zmian. Sprawdź obie sumy w podglądzie.

P3: Co się stanie, jeśli niektóre rekordy mają puste wartości w kolumnie liczbowej? Wygenerowany skrypt stosuje się do określonych przez Ciebie reguł. Powyższy prompt traktuje puste pola jako zero i pomija grupy zawierające niepuste wartości Stock, które nie są liczbami. Przed uruchomieniem skryptu sprawdź to zachowanie w podglądzie. Nie zamieniaj nieprawidłowej kwoty na zero bez wyraźnej reguły.

P4: Czy AI może wykonywać inne obliczenia niż sumowanie? Tak, AI Processing oferuje dużą elastyczność. Sumowanie jest popularnym zastosowaniem, ale za pomocą odpowiedniego promptu można również obliczać średnią, znajdować wartość maksymalną lub minimalną, a nawet wykonywać obliczenia obejmujące wiele pól. Trzeba jednak pamiętać, że prompt stanie się wtedy bardziej złożony.

P5: Czy korzystanie z AI Processing jest droższe niż standardowe scalanie? „AI Processing” jest dostępne bez limitu we wszystkich płatnych planach.

P6: Co zrobić, jeśli AI nie zrozumie prawidłowo mojego promptu? Przed uruchomieniem skryptu zawsze dokładnie sprawdzaj podgląd. Jeśli wynik odbiega od oczekiwań, dopracuj prompt. Pisz bardziej precyzyjnie, sprawdź poprawność nazw kolumn oraz jasno określ kryteria wyboru rekordu głównego i regułę sumowania. W razie potrzeby podziel złożoną logikę na prostsze kroki. Skrypt możesz generować wielokrotnie, aż podgląd będzie prawidłowy.