Visualizar e processar texto

Comando uniq

Remova ou conte linhas duplicadas

Linux · Exemplos de Bash · comandos executados no servidor seleccionado

Quando utilizar uniq

Utilize uniq para comparar linhas adjacentes. Classifique primeiro quando podem ocorrer registos iguais em partes diferentes de um ficheiro, mas preserve a ordem original através de outro método se a sequência for importante.

Sintaxe

uniq [PARAMETERS] [INPUT [OUTPUT]]

Os colchetes marcam argumentos opcionais; uma reticência significa repetição. Substitua exemplos de nomes de ficheiros, nomes de utilizadores e endereços de servidores pelos seus próprios valores.

Opções e argumentos comuns

-c
Apresente o número de repetições.
-d
Mostrar apenas grupos duplicados.
-u
Mostrar apenas linhas não repetidas.

Exemplos de uso

Remover duplicados adjacentes

uniq ./sorted.txt

Apenas linhas repetidas consecutivas são recolhidas.

Conte linhas idênticas

sort ./names.txt | uniq -c

Classificar grupos com nomes iguais para que as contagens de ocorrências cubram toda a entrada.

Mostrar valores duplicados

sort ./names.txt | uniq -d

Apenas os nomes que ocorrem repetidamente são impressos após a classificação.

Notas e limitações

  • Apenas as linhas adjacentes são comparadas: para uma lista partilhada, faça primeiro sort.
  • A ordem e o conceito de igualdade podem depender do local e das opções selecionadas.

Perguntas comuns e resolução de problemas

Porque é que as linhas duplicadas ainda estão presentes?

Apenas linhas idênticas adjacentes são comparadas. As ocorrências separadas permanecem, a menos que as agrupe primeiro ou utilize uma ferramenta com um conjunto completo de chaves de entrada.

sort seguido de uniq irá preservar a ordem de entrada?

Não. A classificação altera a ordem. Se a ordem original for importante, utilize um método de desduplicação que preserve a ordem e considere a memória necessária para o seu conjunto de chaves.

Mais ajuda

As opções variam de acordo com a versão e distribuição. Verifique a documentação instalada com este comando: man uniq.