Limpar dados de CSV

Como limpar um arquivo CSV

1. Abra um arquivo .csv, .tsv ou .txt, arraste-o para a ferramenta ou cole as linhas. O delimitador e a marca de ordem de byte (BOM) de UTF-8 ou UTF-16 são detectados; para usar outro delimitador ou uma codificação antiga, vá em Configurações de importação.
2. Em Valores, escolha as correções de célula. Use Aplicar às colunas para limitá-las a algumas colunas; sem nenhuma selecionada, valem para todas.
3. Em Linhas e colunas, escolha o que fazer com linhas vazias, duplicadas e colunas vazias.
4. Confira a nota acima do resultado, compare com a aba Entrada e depois clique em Baixar CSV, Copiar ou Abrir no editor.

Com os dados limpos, confira-os contra regras de coluna em Validar CSV, ou mude o delimitador e as aspas em Alterar delimitador e codificação do CSV.

O que cada etapa faz, na ordem em que roda

Cada valor passa pelas etapas ativadas nesta ordem fixa, então o resultado é o mesmo independentemente da ordem em que você clica nas opções.

Depois dos valores, vêm as linhas e colunas: Remover linhas vazias tira as linhas em que todas as células estão vazias ou só têm espaços; Duplicadas compara os valores já limpos; Remover colunas totalmente vazias roda por último. A remoção de linhas e colunas sempre olha todas as colunas, seja qual for a escolha em Aplicar às colunas.

Como remover linhas duplicadas

• Remover linhas iguais em todas as colunas é o padrão. Os valores precisam ser exatamente iguais depois das etapas de célula acima.
• Remover linhas com os mesmos valores nas colunas escolhidas considera duplicadas as linhas em que as colunas-chave selecionadas coincidem, por exemplo email, ou first_name + last_name + zip. As demais colunas podem ser diferentes.
• Manter define qual cópia fica: Primeira ocorrência ou Última ocorrência, que fica na posição dessa última linha.
• Ignorar maiúsculas/minúsculas e espaços nas pontas ao comparar trata ANA@example.com e ana@example.com como a mesma chave. Essa opção não altera o texto da linha mantida.
• Escolha Manter todas as linhas para desligar a remoção de duplicadas.

Antes de eliminar duplicadas por chave, ordene o arquivo em Ordenar linhas do CSV se quiser que uma linha específica, como a mais recente, venha primeiro.

O que nunca é alterado

• A linha de cabeçalho fica como está, e a ordem das colunas nunca muda, exceto quando colunas vazias são removidas. Se todas as colunas estiverem vazias, nenhuma é removida.
• Os valores não são convertidos: 00731, 1e5 e 03/04/2024 continuam como texto, exatamente como foram escritos, fora as etapas que você ativou.
• Delimitadores e quebras de linha entre aspas dentro dos valores são lidos conforme a RFC 4180 e gravados de volta entre aspas, a menos que você troque as quebras de linha.
• Um cabeçalho em branco é gravado como Column 3, e um repetido como name (2). Linhas mais curtas que o cabeçalho são completadas com valores vazios.
• O download mantém o delimitador, as quebras de linha e a quebra de linha final do arquivo, além da codificação quando ela é UTF-8 (com ou sem BOM), UTF-16 LE ou Windows-1252; outras codificações são salvas em UTF-8.

Resultados de limpeza inesperados

• Sumiram linhas que eu queria manter: a remoção de duplicadas vem ativada por padrão. Escolha Manter todas as linhas em Duplicadas ou desative Remover linhas vazias.
• Duplicadas que parecem iguais foram mantidas: elas diferem em maiúsculas, espaços dentro do valor, acentos digitados de dois jeitos ou caracteres invisíveis. Ative Ignorar maiúsculas/minúsculas e espaços nas pontas ao comparar, Juntar espaços repetidos dentro dos valores, Normalizar Unicode (NFC) ou Remover caracteres invisíveis.
• As iniciais maiúsculas estragaram nomes ou códigos: limite a opção com Aplicar às colunas, por exemplo só à coluna de nome, para que e-mails e códigos de produto mantenham a grafia.
• Um n/a em minúsculas não foi limpo: a lista diferencia maiúsculas de minúsculas; acrescente n/a ao lado de N/A.

Limites da limpeza e privacidade

Arquivos de até 25 MB, 100.000 linhas, 250 colunas e 2 milhões de células. Para um arquivo maior, divida-o antes com Dividir arquivos CSV; nesse caso, as duplicadas só são encontradas dentro de cada parte.

A limpeza roda no seu navegador. O CSV não é enviado para nenhum servidor.

Exemplo: limpeza de uma lista de contatos

Uma lista de contatos limpa com a remoção padrão de espaços e de linhas vazias, mais Juntar espaços repetidos dentro dos valores, Tratar estes valores como vazios com N/A, NULL e duplicadas pela coluna email com Ignorar maiúsculas/minúsculas e espaços nas pontas ao comparar. A nota informa 5 valores alterados, uma linha vazia e uma linha duplicada removidas. A segunda linha da Ana sai como duplicada; a primeira mantém a própria grafia.

name,email,city
"  ana lopez ",ANA@example.com,Madrid
Ana Lopez,ana@example.com ,Madrid
Kim   Lee,kim@example.com,N/A
,,
Bao Nguyen,bao@example.com,NULL

name,email,city
ana lopez,ANA@example.com,Madrid
Kim Lee,kim@example.com,
Bao Nguyen,bao@example.com,