Ferramenta grátis para limpeza de dados online

Florian Poullin
Florian Poullin
16 min de leitura
Transforme dados bagunçados em registros limpos
Ferramenta grátis para limpeza de dados online
Índice
  1. Importar dados de CSV ou copiar e colar
    1. Detectar o formato automaticamente
  2. Converter texto em data, hora, booleano e número
    1. Converter qualquer texto para o formato Datetime
    2. Criar checkboxes a partir de valores de texto
    3. Extrair números de textos
  3. Limpar dados
    1. Converter HTML em texto
    2. Remover espaços extras
    3. Padronizar maiúsculas e minúsculas
    4. Remover símbolos dos textos
    5. Padronizar com Localizar e Substituir
  4. Separar nome completo em nome e sobrenome
  5. Eliminar dados duplicados
  6. Extrair emails, URLs e outros dados de textos
  7. Usar expressões regulares para filtrar e validar dados
    1. Filtrar textos pelo número de palavras
    2. Filtrar URLs inválidas
    3. Filtrar endereços de email inválidos
  8. Criar transformações personalizadas com JavaScript
  9. Validar endereços de email
  10. FAQ

Data cleaning é o processo de encontrar e corrigir erros em um conjunto de dados antes de utilizá-lo. Em uma lista de leads, isso pode significar corrigir datas, remover espaços extras, separar nomes completos e mesclar contatos duplicados. Neste guia, você verá como realizar essas tarefas no Datablist e conferir o resultado antes de exportar ou enriquecer a lista.

Comece pelas colunas que identificam cada registro, como endereço de email ou domínio da empresa. Padronize a formatação, revise as duplicatas e depois converta ou extraia os demais valores necessários. Confira uma amostra das linhas após cada operação para garantir que nenhuma regra de formatação altere dados válidos.

Veja um resumo rápido das operações de limpeza abordadas neste artigo:

Importar dados de CSV ou copiar e colar

O Datablist é uma excelente ferramenta para limpeza de dados. Ele funciona como um editor de CSV online, com recursos de limpeza, edição em massa e enriquecimento. E comporta milhões de itens em cada coleção.

Para campos de texto em vários idiomas, você pode adicionar etiquetas de idioma a linhas multilíngues antes de filtrar, direcionar ou traduzir os dados.

Abra o Datablist e carregue suas fontes de dados nas coleções.

Para criar uma coleção, clique no botão + da barra lateral. Em seguida, clique em "Import CSV/Excel" para carregar o arquivo. Você também pode usar o atalho da página inicial para ir diretamente à etapa de importação.

Criar uma coleção
Criar uma coleção

Detectar o formato automaticamente

O assistente de importação do Datablist detecta automaticamente endereços de email, datas e horas no padrão ISO 8601, valores booleanos, números, URLs e outros tipos de dados quando estão formatados corretamente.

Detecção automática do tipo
Detecção automática do tipo

Caso seus dados exijam uma análise mais complexa, como outro formato de data e hora ou erros de digitação em URLs e endereços de email, importe-os como uma propriedade Text. Na próxima seção, você verá como converter propriedades de texto em Datetime, Boolean ou Number.

Selecionar o tipo de dado
Selecionar o tipo de dado

Converter texto em data, hora, booleano e número

Marie Kondo diz que “a vida só começa de verdade depois que você coloca a casa em ordem”. Com os dados é igual: “as vendas só começam de verdade depois que você coloca os dados em ordem”! 😅

Filtrar por uma data (data de criação, data de captação etc.), um número (preço, quantidade de funcionários) ou um booleano fica muito mais fácil quando esses valores são objetos nativos, e não apenas texto.

Abra a ferramenta "Text to Datetime, Number, Checkbox" no menu "Clean".

Converter texto em tipos de dados
Converter texto em tipos de dados

Converter qualquer texto para o formato Datetime

Datas e horas têm um padrão internacional chamado ISO 8601, com uma estrutura definida. Se os seus dados estiverem nesse padrão, uma propriedade Datetime será criada automaticamente durante a importação para armazená-los.

Para valores de data e data e hora em outros formatos, é preciso informar o padrão utilizado para que o Datablist possa convertê-los em valores Datetime estruturados.

Selecione a propriedade que deseja converter e escolha "Convert to Datetime".

Converter texto em Datetime
Converter texto em Datetime

Os formatos mais comuns estão disponíveis, incluindo os usados pelo Google Sheets e pelo Excel. Você também pode selecionar "Custom format" para definir seu próprio formato de data e hora.

Formato Datetime personalizado
Formato Datetime personalizado
Prévia da conversão para Datetime
Prévia da conversão para Datetime

Se uma mesma propriedade tiver datas ou datas e horas em formatos diferentes, selecione "Custom or multiple formats" em "Datetime Conversion Format". Depois, insira um formato por linha. O Datablist testará cada formato, começando pela primeira linha, até encontrar uma data válida.

👉 Consulte nossa documentação para saber mais sobre formatos personalizados de data e hora.

Criar checkboxes a partir de valores de texto

Durante a importação, o Datablist converte automaticamente colunas com valores como "Yes, No" e "TRUE, FALSE" em propriedades Checkbox. Para conversões mais complexas, use o conversor.

Defina os valores, separados por vírgulas, que serão convertidos em uma caixa marcada. Os demais permanecerão desmarcados.

Conversão para Checkbox
Conversão para Checkbox
Prévia da conversão para Checkbox
Prévia da conversão para Checkbox

Extrair números de textos

Use o conversor "Text to number" para:

  • Padronizar números com separadores decimais e de milhar personalizados
  • Extrair números de textos que também contenham letras
Conversão de texto em número
Conversão de texto em número
Prévia da conversão em número
Prévia da conversão em número

👉 Consulte nossa documentação para saber mais sobre a conversão de números.

Limpar dados

Converter HTML em texto

Ferramentas de scraping processam código HTML, por isso seus textos podem vir acompanhados de tags HTML.

O código HTML contém links, imagens e listas com marcadores, além de ser estruturado em parágrafos e várias linhas.

O objetivo é preservar parte dessa estrutura e, ao mesmo tempo, transformar um código difícil de ler em texto simples.

O conversor de HTML para texto do Datablist mantém as quebras de linha e transforma os marcadores em uma lista cujos itens começam com -.

Para transformar um texto com tags HTML em texto simples, abra a ferramenta Bulk Edit no menu Edit.

Ferramenta Bulk Edit
Ferramenta Bulk Edit

Selecione a propriedade que contém as tags HTML. Em seguida, escolha "Convert HTML into plain text".

Converter HTML com Bulk Edit
Converter HTML com Bulk Edit
Conversão de HTML em texto
Conversão de HTML em texto
Resultados da conversão de HTML em texto
Resultados da conversão de HTML em texto

Remover espaços extras

Outro problema comum em dados desorganizados é a presença de espaços extras. Eles podem vir de quebras de linha, caracteres Tab e outros caracteres que representam espaços em HTML.

O Datablist oferece uma ferramenta de limpeza para eliminar esses espaços.

Ela conta com dois modos:

  • Modo 1: remover todos os espaços — elimina qualquer caractere de espaço. É ideal para limpar números de telefone, preços e outros valores que devem conter apenas letras, algarismos etc.
  • Modo 2: remover somente os “espaços extras”.

No segundo modo, o algoritmo:

  • Remove espaços excedentes entre as palavras
  • Remove linhas vazias
  • Remove espaços no início e no fim de cada linha

Para remover espaços extras, abra a ferramenta "Bulk Edit" no menu "Edit". Selecione a propriedade e a ação "Remove extra spaces".

Marque a opção "Remove all spaces" para eliminar todos os caracteres de espaço. Deixe-a desativada para remover apenas os “espaços extras”.

Configuração para remover espaços extras
Configuração para remover espaços extras

Veja um exemplo do algoritmo removendo espaços extras:

Remoção de espaços extras
Remoção de espaços extras

Após a limpeza, sem os espaços extras:

Resultado da remoção de espaços extras
Resultado da remoção de espaços extras

Padronizar maiúsculas e minúsculas

Alterar o uso de maiúsculas e minúsculas em um texto é simples. Abra a ferramenta "Bulk Edit" no menu "Edit".

Selecione a propriedade que deseja processar e use a ação "Change text case".

Alterar maiúsculas e minúsculas
Alterar maiúsculas e minúsculas

Há quatro modos disponíveis:

  • Uppercase — Converte todas as letras em maiúsculas. Ex.: john => JOHN
  • Lowercase — Converte todas as letras em minúsculas. Ex.: API => api
  • Capitalize — Coloca a primeira letra de todas as palavras em maiúscula. Ex.: john is a good man => John Is A Good Man
  • Capitalize only the first word — Coloca somente a primeira letra da primeira palavra em maiúscula. Ex.: john is a good man => John is a good man

Remover símbolos dos textos

Textos extraídos de páginas HTML ou inseridos por usuários, como cargos de perfis do LinkedIn, podem conter símbolos, emojis e outros caracteres que afetam o processamento dos dados. Um simples emoji no fim de um nome pode impedir que ele seja identificado por um algoritmo de deduplicação.

O Datablist tem um processador integrado que remove dos dados qualquer símbolo que não faça parte do texto.

Clique em "Bulk Edit" no menu "Edit", selecione uma propriedade de texto e escolha a transformação "Remove symbols".

Remover símbolos
Remover símbolos

Se a prévia estiver correta, execute a transformação para processar os itens.

Resultado da remoção de símbolos
Resultado da remoção de símbolos

Padronizar com Localizar e Substituir

Para criar segmentos em suas listas de prospects, é preciso padronizar os dados.

  • Padronizar cargos
  • Padronizar países e cidades
  • Padronizar URLs
  • Entre outros

Seu objetivo é transformar uma propriedade de texto livre em uma propriedade com um conjunto limitado de opções. Outra possibilidade é simplificar os textos, por exemplo, convertendo uma URL com caminhos em apenas um domínio.

O Datablist oferece uma ferramenta avançada de Localizar e Substituir. Ela funciona tanto com texto simples quanto com expressões regulares.

Expressões regulares são complexas, mas também muito poderosas.

Veja alguns exemplos de como usar RegEx para limpar seus dados.

Remover parâmetros de consulta de uma URL

URLs obtidas por scraping costumam conter parâmetros de consulta desnecessários, usados para rastreamento ou marketing. Ao removê-los, você terá URLs limpas e poderá deduplicar os dados com mais facilidade usando a URL para encontrar itens duplicados.

Para retirar esses parâmetros, marque a opção "Match using regular expression". Depois, use a expressão regular abaixo e deixe o texto de substituição vazio:

\?.*$
Expressão regular para remover parâmetros de consulta
Expressão regular para remover parâmetros de consulta

Aplique-a à propriedade que contém as URLs.

Prévia sem parâmetros de consulta
Prévia sem parâmetros de consulta

Obter o domínio de endereços de email

Outra aplicação de Localizar e Substituir com expressões regulares é extrair o domínio de um site a partir de endereços de email.

Duplique a propriedade de email para preservar os dados originais. Em seguida, use a expressão regular abaixo com o texto de substituição vazio:

^(\w)*@
Expressão regular para obter o domínio de um email
Expressão regular para obter o domínio de um email
Prévia dos domínios extraídos de emails
Prévia dos domínios extraídos de emails

👉 Para saber mais, consulte nossa documentação sobre Localizar e Substituir.

Separar nome completo em nome e sobrenome

Ao extrair listas de leads, é comum receber contatos com um campo “Nome completo” que precisa ser dividido em “Nome” e “Sobrenome”. Separar corretamente o nome de uma pessoa em seus componentes é uma etapa essencial.

Essa separação permite abordar cada pessoa de forma mais personalizada em campanhas de Cold Emailing, identificar o gênero do contato e obter seu título acadêmico.

Separar nomes pode ser uma tarefa complexa. Felizmente, o Datablist oferece uma ferramenta fácil de usar que divide o campo “Nome” em dois valores, usando o espaço como delimitador.

Para começar, abra a ferramenta "Split Property" no menu "Edit".

Ferramenta Split Property
Ferramenta Split Property

Depois, selecione a propriedade que contém os nomes. Escolha Space como delimitador e defina como 2 o número máximo de partes.

Configurar Split Property
Configurar Split Property

Execute a prévia. O Datablist processará os dez primeiros itens para mostrar o resultado. Se tudo estiver correto, clique em "Split Property" para aplicar o algoritmo a todos os itens atuais.

Executar a prévia
Executar a prévia

Após executar o algoritmo de separação, renomeie as duas propriedades criadas como “Nome” e “Sobrenome”.

Resultado com nome e sobrenome
Resultado com nome e sobrenome

Este exemplo considera a convenção ocidental de nomes, que normalmente inclui um nome e um sobrenome. O processo pode ficar mais complexo com nomes de outras culturas, inclusive aqueles que têm vários nomes próprios ou sobrenomes, ou ainda títulos e sufixos.

Eliminar dados duplicados

O Datablist conta com um algoritmo avançado para eliminar registros duplicados. Ele encontra itens semelhantes usando uma ou várias propriedades e os mescla automaticamente sem perder dados.

Para executar o algoritmo de deduplicação, clique em "Duplicate Finder" no menu "Clean".

Executar o Duplicate Finder
Executar o Duplicate Finder

Selecione as propriedades que serão usadas para encontrar correspondências.

Na página de resultados, execute uma vez o algoritmo "Auto Merge" deixando marcada apenas a opção "Merge non-conflicting duplicates". Ele mesclará os itens duplicados que não apresentam conflitos e listará as propriedades conflitantes.

O algoritmo de deduplicação oferece duas opções para tratar dados conflitantes. Você pode selecionar "Combine conflicting properties" e usar um delimitador, ou descartar os valores conflitantes e manter apenas um item principal.

Mesclagem automática
Mesclagem automática

👉 Veja nosso guia para mesclar duplicatas em arquivos CSV. Consulte também o guia para encontrar e mesclar duplicatas usando nomes de empresas.

Extrair emails, URLs e outros dados de textos

O Data Extractor do Datablist é uma ferramenta que analisa textos não estruturados e extrai entidades.

Ele usa reconhecimento de padrões para detectar:

  • Endereços de email em um texto
  • URLs em um texto
  • Domínios de URLs
  • Domínios de endereços de email
  • Menções (por exemplo, @nome) em um texto
  • Tags (por exemplo, #tag) em um texto

O Data Extractor é ideal para analisar e estruturar dados. Com endereços de email, URLs e outros valores bem formatados, você pode conectar seus dados a outras ferramentas e criar fluxos automatizados.

Por exemplo, depois de obter endereços de email, você poderá enriquecê-los para encontrar informações de contato. Ou, a partir do domínio extraído de URLs, poderá consultar sua classificação de tráfego em um serviço como o Alexa.

O Data Extractor do Datablist está disponível no menu "Edit Menu -> Extract url, email, tag, etc.".

Data Extractor
Data Extractor

Selecione a propriedade com o texto não estruturado e escolha um parser.

Parsers do Data Extractor
Parsers do Data Extractor

Execute o parser para gerar uma prévia. Se o resultado estiver correto, clique em "Extract" para processar seus itens.

Prévia do Data Extractor
Prévia do Data Extractor

Usar expressões regulares para filtrar e validar dados

O Datablist permite usar expressões regulares para filtrar seus dados.

Filtrar textos pelo número de palavras

Com esta expressão regular, você pode filtrar textos que tenham pelo menos {n} palavras:

(?:\w+(?:\s|$)){5,} (substitua 5 por qualquer número)

Outras variações dessa RegEx são:

  • (?:\w+(?:\s|$)){,5}: textos com até 5 palavras, incluindo aqueles com exatamente 5
  • (?:\w+(?:\s|$)){5,10}: textos com 5 a 10 palavras
Filtrar textos com no mínimo 5 palavras
Filtrar textos com no mínimo 5 palavras
Resultado do filtro de no mínimo 5 palavras
Resultado do filtro de no mínimo 5 palavras

Filtrar URLs inválidas

A RegEx abaixo identifica URLs inválidas:

^(?!(?:http(s)?:\/\/)?[\w.-]+(?:\.[\w\.-]+)+[\w\-\._~:/?#[\]@!\$&'\(\)\*\+,;=.]+).*$

Filtrar URLs inválidas
Filtrar URLs inválidas
Resultado do filtro de URLs inválidas
Resultado do filtro de URLs inválidas

Filtrar endereços de email inválidos

A RegEx abaixo identifica endereços de email inválidos:

^(?!([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})).*$

Filtrar emails inválidos
Filtrar emails inválidos
Resultado do filtro de emails inválidos
Resultado do filtro de emails inválidos

Criar transformações personalizadas com JavaScript

O Datablist permite executar código JavaScript personalizado nos seus dados. Com esse recurso, você pode resolver desafios específicos, processar formatos especializados, realizar cálculos complexos e aplicar transformações avançadas.

Essa funcionalidade permite aproveitar sua criatividade e experiência na manipulação e transformação de dados. Você pode aplicar lógicas personalizadas, criar loops e condições e usar uma ampla variedade de funções JavaScript para lidar até mesmo com as tarefas mais complexas de data cleaning.

Abra o editor de JavaScript clicando em "Run JavaScript" no menu "Edit".

Limpeza de dados com código JavaScript
Limpeza de dados com código JavaScript

👉 Consulte nossa documentação para saber como escrever código JavaScript.

Validar endereços de email

Dados obtidos por scraping podem estar desatualizados, conter erros de digitação ou ser inválidos. Isso acontece especialmente com endereços de email coletados dessa forma.

Quando os dados são gerados por usuários, sua base pode receber endereços de email falsos ou provenientes de provedores descartáveis.

O Datablist tem uma ferramenta integrada de validação de email que permite verificar milhares de endereços.

Clique em "Enrich"
Clique em "Enrich"

O serviço de validação de email oferece:

  • Análise da sintaxe do email — A primeira verificação confirma se o email segue o padrão IETF e realiza uma análise sintática completa. Ela sinaliza endereços sem arroba (@), com domínios inválidos e outros problemas.
  • Verificação de provedores descartáveis — A segunda etapa detecta emails temporários. O serviço procura domínios pertencentes a provedores de endereços descartáveis (DEA), como Mailinator, Temp-Mail e YopMail.
  • Verificação dos registros MX do domínio — Um endereço de email válido precisa ter um domínio correspondente com registros MX configurados. Esses registros indicam qual servidor recebe as mensagens destinadas ao domínio. A ausência de registros MX indica um endereço inválido. Para cada domínio de email, o serviço consulta os registros DNS e procura os registros MX. Se o domínio não existir, o email será marcado como inválido. Se o domínio existir, mas não tiver um registro MX válido, o endereço também será considerado inválido.
  • Segmentação de emails profissionais e pessoais — Ao trabalhar com prospects provenientes de lead magnets ou segmentar sua base de usuários, pode ser útil separar contatos com emails profissionais daqueles com emails pessoais. O serviço de validação fornece essa informação para enriquecer os dados dos seus contatos.
Resultados da verificação de emails
Resultados da verificação de emails

👉 Veja nosso guia sobre como limpar uma lista de emails.

FAQ

O que é data cleaning e por que é importante?

Data cleaning, também chamado de data cleansing ou data scrubbing, é o processo de identificar e corrigir ou remover erros, inconsistências e imprecisões de um conjunto de dados. Isso inclui detectar e resolver problemas como valores ausentes, registros duplicados, erros de formatação, outliers e divergências na representação dos dados.

A limpeza é uma etapa essencial do processamento de dados, pois garante que as informações sejam precisas, confiáveis e adequadas para análises ou uso em diferentes aplicações.

Quais são as outras ferramentas gratuitas de data cleaning?

O mercado de data cleaning abrange desde soluções genéricas, como planilhas, até aplicativos especializados. A seguir, veja uma lista de ferramentas gratuitas recomendadas, além do Datablist, para suas operações de limpeza de dados.

OpenRefine

O OpenRefine, anteriormente conhecido como Google Refine, é uma ferramenta open source voltada à exploração, limpeza e transformação de dados desorganizados e inconsistentes.

O OpenRefine é um aplicativo independente para desktop, compatível com arquivos tabulares (CSV e TSV), arquivos do Microsoft Excel e outros formatos estruturados, como JSON e XML.

O OpenRefine é muito útil para trabalhar com arquivos CSV inválidos:

  • Lida muito bem com problemas de codificação em CSV
  • Oferece opções para corrigir erros de formatação em CSV

Entre os pontos fracos, o OpenRefine exige bastante aprendizado e não oferece alguns recursos voltados para negócios. Ele não conta com deduplicação nem com fluxos simples para cruzar um conjunto de dados com outra lista e, assim, atualizar ou consolidar informações. Também faltam recursos de colaboração, enriquecimentos e integrações de negócios.

Microsoft Excel e Google Sheets

Microsoft Excel e Google Sheets são aplicativos de planilhas avançados que podem ser usados em tarefas de limpeza e preparação de dados. Embora tenham algumas diferenças, ambos oferecem diversos recursos úteis para limpar e transformar informações.

Você pode usar fórmulas para transformar e manipular dados. Com a formatação condicional, também é possível destacar valores inválidos que precisam ser tratados manualmente.

Precisa de ajuda para limpar seus dados?

Estou sempre em busca de feedback e de problemas de data cleaning que eu possa ajudar a resolver. Entre em contato e compartilhe seu caso de uso.