Prohlížení a zpracování textu

Příkaz uniq

Odstraňte nebo počítejte duplicitní řádky

Linux · příklady Bash · příkazy spuštěné na vybraném serveru

Kdy použít uniq

Použijte uniq k porovnání sousedních čar. Pokud se v různých částech souboru mohou vyskytnout stejné záznamy, nejprve seřaďte, ale pokud na pořadí záleží, zachovejte původní pořadí pomocí jiné metody.

Syntaxe

uniq [PARAMETERS] [INPUT [OUTPUT]]

Hranaté závorky označují volitelné argumenty; elipsa znamená opakování. Nahraďte vzorové názvy souborů, uživatelská jména a adresy serverů svými vlastními hodnotami.

Společné možnosti a argumenty

-c
Zobrazit počet opakování.
-d
Zobrazit pouze duplicitní skupiny.
-u
Zobrazit pouze neopakující se řádky.

Příklady použití

Odstraňte sousední duplikáty

uniq ./sorted.txt

Sbalí se pouze po sobě jdoucí opakované řádky.

Počítejte stejné řádky

sort ./names.txt | uniq -c

Řazení skupin mají stejná jména, takže počty výskytů pokrývají celý vstup.

Zobrazit duplicitní hodnoty

sort ./names.txt | uniq -d

Po seřazení se vytisknou pouze názvy, které se vyskytují opakovaně.

Poznámky a omezení

  • Porovnávají se pouze sousední řádky: pro sdílený seznam nejprve proveďte sort.
  • Pořadí a koncept rovnosti může záviset na národním prostředí a vybraných možnostech.

Běžné otázky a odstraňování problémů

Proč jsou stále přítomny duplicitní řádky?

Porovnávají se pouze sousední identické čáry. Samostatné výskyty zůstanou zachovány, pokud je nejprve neseskupíte nebo nepoužijete nástroj se sadou kláves s úplným zadáním.

Zachová sort následovaný uniq pořadí zadávání?

Ne. Třídění mění pořadí. Pokud záleží na původní objednávce, použijte metodu deduplikace zachovávající objednávku a zvažte paměť potřebnou pro její sadu klíčů.

Další pomoc

Možnosti se liší podle verze a distribuce. Zkontrolujte nainstalovanou dokumentaci pomocí tohoto příkazu: man uniq.