Para mesclar duplicados e somar valores numéricos, agrupe as linhas por um identificador estável, como SKU, escolha o registro que será mantido e some os valores numéricos de todos os integrantes do grupo. O Duplicates Finder da Datablist permite descrever essas regras, visualizar o script gerado e, depois, aplicá-lo.
Comece verificando o que cada linha representa. Some contribuições distintas, como o estoque armazenado em diferentes depósitos. Se duas linhas forem exportações repetidas da mesma contagem de estoque, somá-las duplicará o inventário. Nesse caso, mantenha apenas o registro mais recente.
Por exemplo, três linhas do SKU A-100, com estoques de 12, 8 e 5 em três depósitos diferentes, devem resultar em uma única linha com estoque de 25. Inclua identificadores de depósito ou transação ao verificar se uma contribuição já foi contabilizada.
Este guia mostra todas as etapas para somar valores numéricos ao mesclar duplicados:
Como preparar seus dados
Antes de mesclar registros e somar valores, você precisa importar seus dados para a Datablist. Vamos começar criando uma collection e importando seu arquivo.
Etapa 1: crie uma collection
Na Datablist, as collections são usadas para organizar seus dados. Pense nelas como planilhas inteligentes. Clique no botão “+” na barra lateral ou no atalho “Start with a CSV/Excel file” na tela inicial para criar uma nova collection.
Etapa 2: importe seu arquivo
Você pode importar dados de várias fontes, mas, neste exemplo, usaremos um arquivo CSV ou Excel. Clique em “Import CSV/Excel” e envie o arquivo.
A Datablist aceita arquivos grandes, então não se preocupe se houver centenas de milhares de linhas.
A Datablist detecta automaticamente os tipos das colunas, como Text, Number, Date e Email.
⚠️ Importante: verifique se a coluna que você deseja somar, como
/Stock, foi identificada corretamente como tipoNumber. Caso contrário, você poderá alterar o tipo manualmente durante a importação.
Etapa 3: confira os dados importados
Após concluir a importação, confira rapidamente sua collection para garantir que tudo esteja correto. As linhas e colunas deverão estar prontas para a limpeza.
Como encontrar duplicados
Agora que os dados foram carregados, vamos localizar os registros duplicados.
Etapa 4: abra o Duplicates Finder
Acesse Clean > Merge duplicates.
Etapa 5: selecione os identificadores para deduplicação
Você precisa informar à Datablist como os itens duplicados devem ser identificados.
Escolha a propriedade que identifica cada item de forma exclusiva na sua lista. Pode ser um endereço de Email, um Product SKU, um Company Name ou uma combinação de campos.
Neste exemplo de estoque, use SKU para agrupar o mesmo produto. Apenas o nome do produto pode gerar correspondências entre tamanhos ou variantes diferentes; portanto, só o utilize depois de conferir essas distinções.
Etapa 6: escolha o algoritmo de correspondência e o Processor
Em seguida, selecione o algoritmo de comparação.
Para um SKU de produto, comece com Exact para manter identificadores diferentes separados. Em campos de email ou URL, o modo Smart pode normalizar variações usando o Processor correspondente. Revise essas configurações antes de aceitar uma correspondência. A explicação sobre Smart matching mostra o que cada etapa de normalização altera.
Você também pode escolher um “Processor” para normalizar os dados antes da comparação, como na limpeza de endereços de email ou URLs.
Clique em Run duplicates check.
Etapa 7: visualize os grupos de duplicados
A Datablist analisará seus dados e exibirá grupos de possíveis duplicados. Revise-os para confirmar se os registros são realmente duplicados antes de iniciar a mesclagem.
Como somar valores com AI Processing
Selecione Custom with AI para gerar regras para cada grupo de duplicados. O gerador recebe apenas uma pequena amostra dos seus itens. Por isso, defina as regras para números ausentes, datas inválidas e empates, em vez de presumir que ele identificará todos os casos sozinho.
Etapa 8: selecione o modo AI Processing
Na página de resultados dos duplicados, selecione Custom with AI. As capturas de tela mais antigas abaixo ainda mostram o nome anterior, AI Editing.
Esse modo permite definir uma lógica de mesclagem personalizada por meio de prompts em linguagem natural.
Etapa 9: escreva seu prompt para a AI
Esta é a parte central do processo. Você escreverá um prompt explicando como a Datablist deve mesclar os grupos de duplicados.
Seu prompt precisa conter duas partes principais:
- Seleção do registro principal: diga à AI como escolher o registro principal, ou “master”, que será mantido após a mesclagem. Você pode usar critérios como “o registro com a data mais recente em
/Property”, “o registro mais completo” ou “o registro criado primeiro”. - Soma dos valores: instrua a AI a somar os valores de um campo numérico específico em todos os registros do grupo, incluindo o master, e a gravar o total nesse mesmo campo do registro master.
Use /PropertyName ou {{PropertyName}} para se referir às colunas da sua collection.
Veja um exemplo de prompt para somar a propriedade /Stock e escolher o master com base na propriedade /Date mais recente:
Processe cada grupo de duplicados separadamente. Mantenha o registro com a data válida mais recente em /Date. Se houver empate na data mais recente ou se alguma data estiver ausente ou for inválida, ignore o grupo sem fazer alterações.
Some todos os valores numéricos de /Stock no grupo, incluindo o registro mantido. Considere valores de Stock vazios como zero. Se algum valor de Stock não vazio não for numérico, ignore o grupo sem fazer alterações.
Grave o total em /Stock no registro mantido. Não altere os demais valores desse registro e exclua os outros registros do grupo.
Esse prompt mantém deliberadamente os outros valores do registro escolhido sem alterações. Se as demais linhas contiverem observações ou identificadores úteis, especifique como preservar esses campos antes de excluí-las. Para um fluxo de trabalho que mantém todas as linhas, consulte o guia sobre como normalizar valores duplicados sem mesclá-los.
A regra de Stock diferencia um campo vazio de um texto inválido. Ela também contabiliza uma única vez o registro mantido, evitando um erro comum: omitir seu valor ou somá-lo duas vezes.
Etapa 10: revise e gere o script
Revise seu prompt e confirme se os nomes das colunas, como /Date e /Stock, foram indicados corretamente. Quando estiver tudo certo, clique em Generate and preview changes.
Como revisar e executar o script da AI
A AI da Datablist não executa seu comando sem nenhuma verificação. Primeiro, ela gera um script JavaScript com base no prompt e mostra uma prévia.
Etapa 11: aguarde o processamento
A AI levará alguns instantes para interpretar seu prompt e escrever o script correspondente.
Etapa 12: revise a explicação do script
A Datablist mostrará uma explicação do que o script gerado faz. Confira se o sistema de AI entendeu sua intenção.
Etapa 13: confira a prévia dos resultados
Mais importante ainda: a Datablist mostra como o script afetará seus dados antes de executá-lo.
Analise a prévia e confira pelo menos um grupo, somando os valores manualmente. Verifique também um valor vazio, um zero, um número inválido e uma data empatada. Os grupos ignorados pelas suas regras devem permanecer inalterados.
A prévia mostrará o estado proposto do registro master após a mesclagem e a soma. Confirme se o campo numérico, como /Stock, apresenta o total correto com base nos integrantes do grupo de duplicados.
Etapa 14: analise um exemplo com o registro master
Veja mais de perto a prévia de um grupo específico. O registro master é aquele que possui a data mais recente, conforme definido no prompt.
Etapa 15: execute o script
Se a prévia estiver correta e as somas tiverem sido calculadas como esperado, clique em Run AI rules. A Datablist aplicará a lógica de mesclagem e soma a todos os grupos de duplicados identificados na sua collection.
Etapa 16: verifique os resultados
Quando o script terminar, os registros duplicados serão mesclados de acordo com suas instruções.
Volte à visualização principal da collection. Cada grupo aceito deverá conter apenas um registro com o valor somado. Os grupos ignorados pelas regras devem permanecer inalterados.
Confira a coluna somada, como /Stock. Agora ela deverá conter os totais agregados dos itens que antes estavam duplicados.
Compare o estoque total antes e depois do processamento dos grupos aceitos. Ao consolidar contribuições distintas, o total deve permanecer igual. Verifique os grupos ignorados separadamente antes de exportar os dados.
Você usou o AI Processing para mesclar duplicados e também realizar cálculos, como somas, durante o processo. Isso reduz consideravelmente o trabalho manual e ajuda a manter a precisão dos dados.
Casos de uso
O recurso de soma com AI é bastante versátil. Veja alguns cenários em que ele se destaca:
- Gestão de estoque: você importa listas de produtos de vários fornecedores ou depósitos, gerando entradas duplicadas para o mesmo produto. Use o AI Processing para mesclar essas entradas, selecionar como master o registro com a data de atualização mais recente e somar os valores de
/QuantityOnHandde todos os duplicados para obter o estoque total correto. - Consolidação de dados de vendas: dados de vendas chegam de diferentes regiões ou plataformas, criando registros duplicados para o mesmo cliente ou produto vendido em determinado período. Mescle os duplicados com base em
CustomerIDeProductID, escolha o registro com aSaleDatemais antiga e some os campos/UnitsSolde/Revenuepara obter números consolidados. - Agregação de dados financeiros: inclua transações distintas nos totais por categoria somente depois de verificar seus IDs. Dois extratos podem conter a mesma transação; remova as cópias repetidas antes de somar e mantenha moedas diferentes separadas.
- Gestão de projetos: combine registros de tarefas referentes ao mesmo marco de projeto, enviados nas atualizações de diferentes integrantes da equipe. Faça a mesclagem com base em
ProjectIDeMilestoneName, mantenha o registro com aStatusUpdateDatemais recente e some o campo/HoursLoggedpara acompanhar o esforço total. - Mesclagem de pedidos de e-commerce: combine vários itens do mesmo produto em um único pedido de cliente quando eles tiverem sido inseridos separadamente. Faça a deduplicação com base em
OrderIDeProductID, mantenha um item e some os campos/Quantitye/ItemTotal.
FAQ
P1: E se minha coluna numérica não for reconhecida como tipo “Number”?
Durante a importação, verifique se a coluna está definida como tipo Number. Se ela já tiver sido importada como Text, use a ferramenta “Convert Text to...” no menu “Clean” para convertê-la em Number antes de executar o Duplicates Finder. A função de soma da AI exige que o campo seja do tipo numérico.
P2: Posso somar várias colunas numéricas em um único prompt? Sim! Você pode ampliar o prompt e incluir instruções de soma para vários campos. Por exemplo:
Use o prompt acima e adicione uma regra para somar /SalesCount, aplicando o mesmo tratamento a valores vazios e inválidos. Especifique quais campos devem permanecer inalterados no registro mantido. Revise os dois totais na prévia.
P3: O que acontece se alguns registros tiverem valores vazios na coluna numérica? O script gerado seguirá as regras especificadas por você. O prompt acima considera campos vazios como zero e ignora grupos que contenham valores de estoque não vazios e não numéricos. Revise a prévia para confirmar esse comportamento antes de executar o script; não converta silenciosamente um valor inválido em zero.
P4: A AI pode realizar outros cálculos além de somas? Sim, o AI Processing é bastante flexível. Embora a soma seja um caso de uso comum, você pode solicitar outros cálculos, como média, valor máximo ou mínimo, e até operações baseadas em vários campos. Nesses casos, porém, o prompt ficará mais complexo.
P5: Usar o AI Processing custa mais do que a mesclagem padrão? O “AI Processing” está incluído e é ilimitado em todos os planos pagos.
P6: E se a AI não interpretar meu prompt corretamente? Sempre analise a prévia com atenção antes de executar o script. Se o resultado não corresponder ao esperado, refine o prompt. Seja mais específico, confirme os nomes das colunas e descreva claramente os critérios para selecionar o registro master e realizar a soma. Se necessário, divida uma lógica complexa em etapas mais simples. Você pode gerar o script novamente quantas vezes precisar, até que a prévia esteja correta.