Quando usar uniq
Use uniq para comparar linhas adjacentes. Classifique primeiro quando registros iguais puderem ocorrer em partes diferentes de um arquivo, mas preserve a ordem original por meio de outro método se a sequência for importante.
Sintaxe
uniq [PARAMETERS] [INPUT [OUTPUT]]Colchetes marcam argumentos opcionais; uma reticência significa repetição. Substitua exemplos de nomes de arquivos, nomes de usuários e endereços de servidores por seus próprios valores.
Opções e argumentos comuns
Exemplos de uso
Remover duplicatas adjacentes
uniq ./sorted.txtSomente linhas repetidas consecutivas são recolhidas.
Conte linhas idênticas
sort ./names.txt | uniq -cClassificar grupos com nomes iguais para que as contagens de ocorrências cubram toda a entrada.
Mostrar valores duplicados
sort ./names.txt | uniq -dSomente nomes que ocorrem repetidamente são impressos após a classificação.
Notas e limitações
- Somente linhas adjacentes são comparadas: para uma lista compartilhada, primeiro faça sort.
- A ordem e o conceito de igualdade podem depender do local e das opções selecionadas.
Perguntas comuns e solução de problemas
Por que as linhas duplicadas ainda estão presentes?
Apenas linhas idênticas adjacentes são comparadas. Ocorrências separadas permanecem, a menos que você as agrupe primeiro ou use uma ferramenta com um conjunto completo de chaves de entrada.
sort seguido por uniq preservará a ordem de entrada?
Não. A classificação altera a ordem. Se a ordem original for importante, use um método de desduplicação que preserva a ordem e considere a memória necessária para seu conjunto de chaves.
Mais ajuda
As opções variam de acordo com a versão e distribuição. Verifique a documentação instalada com este comando: man uniq.