Prezeranie a spracovanie textu

Príkaz uniq

Odstráňte alebo spočítajte duplicitné riadky

Linux · Príklady Bash · príkazy spustené na zvolenom serveri

Kedy použiť uniq

Použite uniq na porovnanie susedných čiar. Najprv zoraďte, keď sa v rôznych častiach súboru môžu vyskytovať rovnaké záznamy, ale ak záleží na poradí, zachovajte pôvodné poradie inou metódou.

Syntax

uniq [PARAMETERS] [INPUT [OUTPUT]]

Hranaté zátvorky označujú voliteľné argumenty; elipsa znamená opakovanie. Nahraďte vzorové názvy súborov, mená používateľov a adresy serverov svojimi vlastnými hodnotami.

Bežné možnosti a argumenty

-c
Ukážte počet opakovaní.
-d
Zobraziť iba duplicitné skupiny.
-u
Zobraziť iba neopakujúce sa riadky.

Príklady použitia

Odstráňte susedné duplikáty

uniq ./sorted.txt

Zbalia sa iba po sebe idúce opakované riadky.

Počítajte rovnaké riadky

sort ./names.txt | uniq -c

Triediace skupiny majú rovnaké názvy, takže počet výskytov pokrýva celý vstup.

Zobraziť duplicitné hodnoty

sort ./names.txt | uniq -d

Po zoradení sa vytlačia iba názvy, ktoré sa vyskytujú opakovane.

Poznámky a obmedzenia

  • Porovnávajú sa iba susedné riadky: v prípade zdieľaného zoznamu najskôr urobte sort.
  • Poradie a koncepcia rovnosti môže závisieť od lokality a vybratých možností.

Bežné otázky a riešenie problémov

Prečo sú stále prítomné duplicitné riadky?

Porovnávajú sa iba susediace identické čiary. Samostatné výskyty zostanú, pokiaľ ich najprv nezoskupíte alebo nepoužijete nástroj so sadou klávesov s úplným zadávaním.

Zachová sa poradie vstupov sort nasledované uniq?

Nie. Triedenie zmení poradie. Ak záleží na pôvodnom poradí, použite metódu deduplikácie na zachovanie objednávky a zvážte pamäť potrebnú pre jej sadu kľúčov.

Ďalšia pomoc

Možnosti sa líšia podľa verzie a distribúcie. Skontrolujte nainštalovanú dokumentáciu pomocou tohto príkazu: man uniq.