Visning og behandling af tekst

Kommando uniq

Fjern eller tæl duplikerede linjer

Linux · Bash eksempler · kommandoer kører på den valgte server

Hvornår skal du bruge uniq

Brug uniq til at sammenligne tilstødende linjer. Sorter først, når ens poster kan forekomme i forskellige dele af en fil, men bevar den oprindelige rækkefølge ved hjælp af en anden metode, hvis rækkefølgen er vigtig.

Syntaks

uniq [PARAMETERS] [INPUT [OUTPUT]]

Firkantede parenteser markerer valgfri argumenter; en ellipse betyder gentagelse. Erstat eksempelfilnavne, brugernavne og serveradresser med dine egne værdier.

Fælles muligheder og argumenter

-c
Vis antal gentagelser.
-d
Vis kun dubletgrupper.
-u
Vis kun ikke-gentagende linjer.

Eksempler på brug

Fjern tilstødende dubletter

uniq ./sorted.txt

Kun på hinanden følgende gentagne linjer er kollapset.

Tæl identiske linjer

sort ./names.txt | uniq -c

Sortering af grupper har samme navne, så antallet af forekomster dækker hele inputtet.

Vis duplikerede værdier

sort ./names.txt | uniq -d

Kun navne, der forekommer gentagne gange, udskrives efter sortering.

Noter og begrænsninger

  • Kun tilstødende rækker sammenlignes: for en delt liste skal du først udføre sort.
  • Rækkefølgen og begrebet lighed kan afhænge af lokaliteten og de valgte muligheder.

Almindelige spørgsmål og fejlfinding

Hvorfor er duplikerede linjer stadig til stede?

Kun tilstødende identiske linjer sammenlignes. Separate forekomster forbliver, medmindre du grupperer dem først eller bruger et værktøj med et nøglesæt med fuld input.

Vil sort efterfulgt af uniq bevare inputrækkefølgen?

Nej. Sortering ændrer rækkefølge. Hvis den oprindelige ordre er vigtig, skal du bruge en ordrebevarende deduplikeringsmetode og overveje den nødvendige hukommelse til dets nøglesæt.

Yderligere hjælp

Valgmulighederne varierer efter version og distribution. Tjek den installerede dokumentation med denne kommando: man uniq.