Data cleaning é o processo de encontrar e corrigir erros em um conjunto de dados antes de utilizá-lo. Em uma lista de leads, isso pode significar corrigir datas, remover espaços extras, separar nomes completos e mesclar contatos duplicados. Neste guia, você verá como realizar essas tarefas no Datablist e conferir o resultado antes de exportar ou enriquecer a lista.
Comece pelas colunas que identificam cada registro, como endereço de email ou domínio da empresa. Padronize a formatação, revise as duplicatas e depois converta ou extraia os demais valores necessários. Confira uma amostra das linhas após cada operação para garantir que nenhuma regra de formatação altere dados válidos.
Veja um resumo rápido das operações de limpeza abordadas neste artigo:
- Converter texto em data e hora, número ou booleano
- Converter HTML em texto e remover tags
- Remover espaços extras dos textos
- Padronizar seus dados
- Remover símbolos dos textos
- Separar o nome completo em nome e sobrenome
- Eliminar registros duplicados
- Extrair endereços de email, URLs e outros dados de textos
- Usar expressões regulares para filtrar e validar dados
- Criar transformações personalizadas com JavaScript
- Validar endereços de email
Importar dados de CSV ou copiar e colar
O Datablist é uma excelente ferramenta para limpeza de dados. Ele funciona como um editor de CSV online, com recursos de limpeza, edição em massa e enriquecimento. E comporta milhões de itens em cada coleção.
Para campos de texto em vários idiomas, você pode adicionar etiquetas de idioma a linhas multilíngues antes de filtrar, direcionar ou traduzir os dados.
Abra o Datablist e carregue suas fontes de dados nas coleções.
Para criar uma coleção, clique no botão + da barra lateral. Em seguida, clique em "Import CSV/Excel" para carregar o arquivo. Você também pode usar o atalho da página inicial para ir diretamente à etapa de importação.
Detectar o formato automaticamente
O assistente de importação do Datablist detecta automaticamente endereços de email, datas e horas no padrão ISO 8601, valores booleanos, números, URLs e outros tipos de dados quando estão formatados corretamente.
Caso seus dados exijam uma análise mais complexa, como outro formato de data e hora ou erros de digitação em URLs e endereços de email, importe-os como uma propriedade Text. Na próxima seção, você verá como converter propriedades de texto em Datetime, Boolean ou Number.
Converter texto em data, hora, booleano e número
Marie Kondo diz que “a vida só começa de verdade depois que você coloca a casa em ordem”. Com os dados é igual: “as vendas só começam de verdade depois que você coloca os dados em ordem”! 😅
Filtrar por uma data (data de criação, data de captação etc.), um número (preço, quantidade de funcionários) ou um booleano fica muito mais fácil quando esses valores são objetos nativos, e não apenas texto.
Abra a ferramenta "Text to Datetime, Number, Checkbox" no menu "Clean".
Converter qualquer texto para o formato Datetime
Datas e horas têm um padrão internacional chamado ISO 8601, com uma estrutura definida. Se os seus dados estiverem nesse padrão, uma propriedade Datetime será criada automaticamente durante a importação para armazená-los.
Para valores de data e data e hora em outros formatos, é preciso informar o padrão utilizado para que o Datablist possa convertê-los em valores Datetime estruturados.
Selecione a propriedade que deseja converter e escolha "Convert to Datetime".
Os formatos mais comuns estão disponíveis, incluindo os usados pelo Google Sheets e pelo Excel. Você também pode selecionar "Custom format" para definir seu próprio formato de data e hora.
Se uma mesma propriedade tiver datas ou datas e horas em formatos diferentes, selecione "Custom or multiple formats" em "Datetime Conversion Format". Depois, insira um formato por linha. O Datablist testará cada formato, começando pela primeira linha, até encontrar uma data válida.
👉 Consulte nossa documentação para saber mais sobre formatos personalizados de data e hora.
Criar checkboxes a partir de valores de texto
Durante a importação, o Datablist converte automaticamente colunas com valores como "Yes, No" e "TRUE, FALSE" em propriedades Checkbox. Para conversões mais complexas, use o conversor.
Defina os valores, separados por vírgulas, que serão convertidos em uma caixa marcada. Os demais permanecerão desmarcados.
Extrair números de textos
Use o conversor "Text to number" para:
- Padronizar números com separadores decimais e de milhar personalizados
- Extrair números de textos que também contenham letras
👉 Consulte nossa documentação para saber mais sobre a conversão de números.
Limpar dados
Converter HTML em texto
Ferramentas de scraping processam código HTML, por isso seus textos podem vir acompanhados de tags HTML.
O código HTML contém links, imagens e listas com marcadores, além de ser estruturado em parágrafos e várias linhas.
O objetivo é preservar parte dessa estrutura e, ao mesmo tempo, transformar um código difícil de ler em texto simples.
O conversor de HTML para texto do Datablist mantém as quebras de linha e transforma os marcadores em uma lista cujos itens começam com -.
Para transformar um texto com tags HTML em texto simples, abra a ferramenta Bulk Edit no menu Edit.
Selecione a propriedade que contém as tags HTML. Em seguida, escolha "Convert HTML into plain text".
Remover espaços extras
Outro problema comum em dados desorganizados é a presença de espaços extras. Eles podem vir de quebras de linha, caracteres Tab e outros caracteres que representam espaços em HTML.
O Datablist oferece uma ferramenta de limpeza para eliminar esses espaços.
Ela conta com dois modos:
- Modo 1: remover todos os espaços — elimina qualquer caractere de espaço. É ideal para limpar números de telefone, preços e outros valores que devem conter apenas letras, algarismos etc.
- Modo 2: remover somente os “espaços extras”.
No segundo modo, o algoritmo:
- Remove espaços excedentes entre as palavras
- Remove linhas vazias
- Remove espaços no início e no fim de cada linha
Para remover espaços extras, abra a ferramenta "Bulk Edit" no menu "Edit". Selecione a propriedade e a ação "Remove extra spaces".
Marque a opção "Remove all spaces" para eliminar todos os caracteres de espaço. Deixe-a desativada para remover apenas os “espaços extras”.
Veja um exemplo do algoritmo removendo espaços extras:
Após a limpeza, sem os espaços extras:
Padronizar maiúsculas e minúsculas
Alterar o uso de maiúsculas e minúsculas em um texto é simples. Abra a ferramenta "Bulk Edit" no menu "Edit".
Selecione a propriedade que deseja processar e use a ação "Change text case".
Há quatro modos disponíveis:
- Uppercase — Converte todas as letras em maiúsculas. Ex.:
john=>JOHN - Lowercase — Converte todas as letras em minúsculas. Ex.:
API=>api - Capitalize — Coloca a primeira letra de todas as palavras em maiúscula. Ex.:
john is a good man=>John Is A Good Man - Capitalize only the first word — Coloca somente a primeira letra da primeira palavra em maiúscula. Ex.:
john is a good man=>John is a good man
Remover símbolos dos textos
Textos extraídos de páginas HTML ou inseridos por usuários, como cargos de perfis do LinkedIn, podem conter símbolos, emojis e outros caracteres que afetam o processamento dos dados. Um simples emoji no fim de um nome pode impedir que ele seja identificado por um algoritmo de deduplicação.
O Datablist tem um processador integrado que remove dos dados qualquer símbolo que não faça parte do texto.
Clique em "Bulk Edit" no menu "Edit", selecione uma propriedade de texto e escolha a transformação "Remove symbols".
Se a prévia estiver correta, execute a transformação para processar os itens.
Padronizar com Localizar e Substituir
Para criar segmentos em suas listas de prospects, é preciso padronizar os dados.
- Padronizar cargos
- Padronizar países e cidades
- Padronizar URLs
- Entre outros
Seu objetivo é transformar uma propriedade de texto livre em uma propriedade com um conjunto limitado de opções. Outra possibilidade é simplificar os textos, por exemplo, convertendo uma URL com caminhos em apenas um domínio.
O Datablist oferece uma ferramenta avançada de Localizar e Substituir. Ela funciona tanto com texto simples quanto com expressões regulares.
Expressões regulares são complexas, mas também muito poderosas.
Veja alguns exemplos de como usar RegEx para limpar seus dados.
Remover parâmetros de consulta de uma URL
URLs obtidas por scraping costumam conter parâmetros de consulta desnecessários, usados para rastreamento ou marketing. Ao removê-los, você terá URLs limpas e poderá deduplicar os dados com mais facilidade usando a URL para encontrar itens duplicados.
Para retirar esses parâmetros, marque a opção "Match using regular expression". Depois, use a expressão regular abaixo e deixe o texto de substituição vazio:
\?.*$
Aplique-a à propriedade que contém as URLs.
Obter o domínio de endereços de email
Outra aplicação de Localizar e Substituir com expressões regulares é extrair o domínio de um site a partir de endereços de email.
Duplique a propriedade de email para preservar os dados originais. Em seguida, use a expressão regular abaixo com o texto de substituição vazio:
^(\w)*@
👉 Para saber mais, consulte nossa documentação sobre Localizar e Substituir.
Separar nome completo em nome e sobrenome
Ao extrair listas de leads, é comum receber contatos com um campo “Nome completo” que precisa ser dividido em “Nome” e “Sobrenome”. Separar corretamente o nome de uma pessoa em seus componentes é uma etapa essencial.
Essa separação permite abordar cada pessoa de forma mais personalizada em campanhas de Cold Emailing, identificar o gênero do contato e obter seu título acadêmico.
Separar nomes pode ser uma tarefa complexa. Felizmente, o Datablist oferece uma ferramenta fácil de usar que divide o campo “Nome” em dois valores, usando o espaço como delimitador.
Para começar, abra a ferramenta "Split Property" no menu "Edit".
Depois, selecione a propriedade que contém os nomes. Escolha Space como delimitador e defina como 2 o número máximo de partes.
Execute a prévia. O Datablist processará os dez primeiros itens para mostrar o resultado. Se tudo estiver correto, clique em "Split Property" para aplicar o algoritmo a todos os itens atuais.
Após executar o algoritmo de separação, renomeie as duas propriedades criadas como “Nome” e “Sobrenome”.
Este exemplo considera a convenção ocidental de nomes, que normalmente inclui um nome e um sobrenome. O processo pode ficar mais complexo com nomes de outras culturas, inclusive aqueles que têm vários nomes próprios ou sobrenomes, ou ainda títulos e sufixos.
Eliminar dados duplicados
O Datablist conta com um algoritmo avançado para eliminar registros duplicados. Ele encontra itens semelhantes usando uma ou várias propriedades e os mescla automaticamente sem perder dados.
Para executar o algoritmo de deduplicação, clique em "Duplicate Finder" no menu "Clean".
Selecione as propriedades que serão usadas para encontrar correspondências.
Na página de resultados, execute uma vez o algoritmo "Auto Merge" deixando marcada apenas a opção "Merge non-conflicting duplicates". Ele mesclará os itens duplicados que não apresentam conflitos e listará as propriedades conflitantes.
O algoritmo de deduplicação oferece duas opções para tratar dados conflitantes. Você pode selecionar "Combine conflicting properties" e usar um delimitador, ou descartar os valores conflitantes e manter apenas um item principal.
👉 Veja nosso guia para mesclar duplicatas em arquivos CSV. Consulte também o guia para encontrar e mesclar duplicatas usando nomes de empresas.
Extrair emails, URLs e outros dados de textos
O Data Extractor do Datablist é uma ferramenta que analisa textos não estruturados e extrai entidades.
Ele usa reconhecimento de padrões para detectar:
- Endereços de email em um texto
- URLs em um texto
- Domínios de URLs
- Domínios de endereços de email
- Menções (por exemplo, @nome) em um texto
- Tags (por exemplo, #tag) em um texto
O Data Extractor é ideal para analisar e estruturar dados. Com endereços de email, URLs e outros valores bem formatados, você pode conectar seus dados a outras ferramentas e criar fluxos automatizados.
Por exemplo, depois de obter endereços de email, você poderá enriquecê-los para encontrar informações de contato. Ou, a partir do domínio extraído de URLs, poderá consultar sua classificação de tráfego em um serviço como o Alexa.
O Data Extractor do Datablist está disponível no menu "Edit Menu -> Extract url, email, tag, etc.".
Selecione a propriedade com o texto não estruturado e escolha um parser.
Execute o parser para gerar uma prévia. Se o resultado estiver correto, clique em "Extract" para processar seus itens.
Usar expressões regulares para filtrar e validar dados
O Datablist permite usar expressões regulares para filtrar seus dados.
Filtrar textos pelo número de palavras
Com esta expressão regular, você pode filtrar textos que tenham pelo menos {n} palavras:
(?:\w+(?:\s|$)){5,} (substitua 5 por qualquer número)
Outras variações dessa RegEx são:
(?:\w+(?:\s|$)){,5}: textos com até 5 palavras, incluindo aqueles com exatamente 5(?:\w+(?:\s|$)){5,10}: textos com 5 a 10 palavras
Filtrar URLs inválidas
A RegEx abaixo identifica URLs inválidas:
^(?!(?:http(s)?:\/\/)?[\w.-]+(?:\.[\w\.-]+)+[\w\-\._~:/?#[\]@!\$&'\(\)\*\+,;=.]+).*$
Filtrar endereços de email inválidos
A RegEx abaixo identifica endereços de email inválidos:
^(?!([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})).*$
Criar transformações personalizadas com JavaScript
O Datablist permite executar código JavaScript personalizado nos seus dados. Com esse recurso, você pode resolver desafios específicos, processar formatos especializados, realizar cálculos complexos e aplicar transformações avançadas.
Essa funcionalidade permite aproveitar sua criatividade e experiência na manipulação e transformação de dados. Você pode aplicar lógicas personalizadas, criar loops e condições e usar uma ampla variedade de funções JavaScript para lidar até mesmo com as tarefas mais complexas de data cleaning.
Abra o editor de JavaScript clicando em "Run JavaScript" no menu "Edit".
👉 Consulte nossa documentação para saber como escrever código JavaScript.
Validar endereços de email
Dados obtidos por scraping podem estar desatualizados, conter erros de digitação ou ser inválidos. Isso acontece especialmente com endereços de email coletados dessa forma.
Quando os dados são gerados por usuários, sua base pode receber endereços de email falsos ou provenientes de provedores descartáveis.
O Datablist tem uma ferramenta integrada de validação de email que permite verificar milhares de endereços.
O serviço de validação de email oferece:
- Análise da sintaxe do email — A primeira verificação confirma se o email segue o padrão IETF e realiza uma análise sintática completa. Ela sinaliza endereços sem arroba (@), com domínios inválidos e outros problemas.
- Verificação de provedores descartáveis — A segunda etapa detecta emails temporários. O serviço procura domínios pertencentes a provedores de endereços descartáveis (DEA), como Mailinator, Temp-Mail e YopMail.
- Verificação dos registros MX do domínio — Um endereço de email válido precisa ter um domínio correspondente com registros MX configurados. Esses registros indicam qual servidor recebe as mensagens destinadas ao domínio. A ausência de registros MX indica um endereço inválido. Para cada domínio de email, o serviço consulta os registros DNS e procura os registros MX. Se o domínio não existir, o email será marcado como inválido. Se o domínio existir, mas não tiver um registro MX válido, o endereço também será considerado inválido.
- Segmentação de emails profissionais e pessoais — Ao trabalhar com prospects provenientes de lead magnets ou segmentar sua base de usuários, pode ser útil separar contatos com emails profissionais daqueles com emails pessoais. O serviço de validação fornece essa informação para enriquecer os dados dos seus contatos.












































