Przeglądanie i przetwarzanie tekstu

Komenda uniq

Usuń lub policz zduplikowane linie

Linux · Przykłady Bash · Komendy uruchamiane na wybranym serwerze

Kiedy stosować uniq

Użyj uniq, aby porównać sąsiednie linie. Sortuj najpierw, jeśli w różnych częściach pliku mogą występować równe rekordy, ale zachowaj pierwotną kolejność za pomocą innej metody, jeśli kolejność ma znaczenie.

Składnia

uniq [PARAMETERS] [INPUT [OUTPUT]]

Nawiasy kwadratowe oznaczają argumenty opcjonalne; wielokropek oznacza powtórzenie. Zastąp przykładowe nazwy plików, nazwy użytkowników i adresy serwerów własnymi wartościami.

Typowe opcje i argumenty

-c
Pokaż liczbę powtórzeń.
-d
Pokaż tylko zduplikowane grupy.
-u
Pokaż tylko niepowtarzające się linie.

Przykłady użycia

Usuń sąsiednie duplikaty

uniq ./sorted.txt

Zwijane są tylko kolejne powtarzające się linie.

Policz identyczne linie

sort ./names.txt | uniq -c

Sortowanie grup o równych nazwach, tak aby liczba wystąpień obejmowała całe wejście.

Pokaż zduplikowane wartości

sort ./names.txt | uniq -d

Po sortowaniu drukowane są tylko nazwy, które występują wielokrotnie.

Uwagi i ograniczenia

  • Porównywane są tylko sąsiednie wiersze: w przypadku listy współdzielonej najpierw wykonaj sort.
  • Kolejność i koncepcja równości mogą zależeć od ustawień regionalnych i wybranych opcji.

Często zadawane pytania i rozwiązywanie problemów

Dlaczego nadal występują zduplikowane linie?

Porównywane są tylko sąsiadujące ze sobą identyczne linie. Oddzielne wystąpienia pozostaną, chyba że najpierw je zgrupujesz lub użyjesz narzędzia z pełnym zestawem kluczy wejściowych.

Czy sort i uniq zachowają kolejność wprowadzania?

Nie. Sortowanie zmienia kolejność. Jeśli oryginalna kolejność ma znaczenie, użyj metody deduplikacji zachowującej kolejność i rozważ ilość pamięci potrzebną dla zestawu kluczy.

Dalsza pomoc

Opcje różnią się w zależności od wersji i dystrybucji. Sprawdź zainstalowaną dokumentację za pomocą tego polecenia: man uniq.