Visualizando e processando texto

Comando uniq

Remova ou conte linhas duplicadas

Linux · Exemplos de Bash · comandos executados no servidor selecionado

Quando usar uniq

Use uniq para comparar linhas adjacentes. Classifique primeiro quando registros iguais puderem ocorrer em partes diferentes de um arquivo, mas preserve a ordem original por meio de outro método se a sequência for importante.

Sintaxe

uniq [PARAMETERS] [INPUT [OUTPUT]]

Colchetes marcam argumentos opcionais; uma reticência significa repetição. Substitua exemplos de nomes de arquivos, nomes de usuários e endereços de servidores por seus próprios valores.

Opções e argumentos comuns

-c
Mostre o número de repetições.
-d
Mostrar apenas grupos duplicados.
-u
Mostrar apenas linhas não repetidas.

Exemplos de uso

Remover duplicatas adjacentes

uniq ./sorted.txt

Somente linhas repetidas consecutivas são recolhidas.

Conte linhas idênticas

sort ./names.txt | uniq -c

Classificar grupos com nomes iguais para que as contagens de ocorrências cubram toda a entrada.

Mostrar valores duplicados

sort ./names.txt | uniq -d

Somente nomes que ocorrem repetidamente são impressos após a classificação.

Notas e limitações

  • Somente linhas adjacentes são comparadas: para uma lista compartilhada, primeiro faça sort.
  • A ordem e o conceito de igualdade podem depender do local e das opções selecionadas.

Perguntas comuns e solução de problemas

Por que as linhas duplicadas ainda estão presentes?

Apenas linhas idênticas adjacentes são comparadas. Ocorrências separadas permanecem, a menos que você as agrupe primeiro ou use uma ferramenta com um conjunto completo de chaves de entrada.

sort seguido por uniq preservará a ordem de entrada?

Não. A classificação altera a ordem. Se a ordem original for importante, use um método de desduplicação que preserva a ordem e considere a memória necessária para seu conjunto de chaves.

Mais ajuda

As opções variam de acordo com a versão e distribuição. Verifique a documentação instalada com este comando: man uniq.