Kiedy stosować uniq
Użyj uniq, aby porównać sąsiednie linie. Sortuj najpierw, jeśli w różnych częściach pliku mogą występować równe rekordy, ale zachowaj pierwotną kolejność za pomocą innej metody, jeśli kolejność ma znaczenie.
Składnia
uniq [PARAMETERS] [INPUT [OUTPUT]]Nawiasy kwadratowe oznaczają argumenty opcjonalne; wielokropek oznacza powtórzenie. Zastąp przykładowe nazwy plików, nazwy użytkowników i adresy serwerów własnymi wartościami.
Typowe opcje i argumenty
Przykłady użycia
Usuń sąsiednie duplikaty
uniq ./sorted.txtZwijane są tylko kolejne powtarzające się linie.
Policz identyczne linie
sort ./names.txt | uniq -cSortowanie grup o równych nazwach, tak aby liczba wystąpień obejmowała całe wejście.
Pokaż zduplikowane wartości
sort ./names.txt | uniq -dPo sortowaniu drukowane są tylko nazwy, które występują wielokrotnie.
Uwagi i ograniczenia
- Porównywane są tylko sąsiednie wiersze: w przypadku listy współdzielonej najpierw wykonaj sort.
- Kolejność i koncepcja równości mogą zależeć od ustawień regionalnych i wybranych opcji.
Często zadawane pytania i rozwiązywanie problemów
Dlaczego nadal występują zduplikowane linie?
Porównywane są tylko sąsiadujące ze sobą identyczne linie. Oddzielne wystąpienia pozostaną, chyba że najpierw je zgrupujesz lub użyjesz narzędzia z pełnym zestawem kluczy wejściowych.
Czy sort i uniq zachowają kolejność wprowadzania?
Nie. Sortowanie zmienia kolejność. Jeśli oryginalna kolejność ma znaczenie, użyj metody deduplikacji zachowującej kolejność i rozważ ilość pamięci potrzebną dla zestawu kluczy.
Dalsza pomoc
Opcje różnią się w zależności od wersji i dystrybucji. Sprawdź zainstalowaną dokumentację za pomocą tego polecenia: man uniq.