Se og behandle tekst

Kommando uniq

Fjern eller tell dupliserte linjer

Linux · Bash eksempler · kommandoer kjøres på den valgte serveren

Når skal du bruke uniq

Bruk uniq for å sammenligne tilstøtende linjer. Sorter først når like poster kan forekomme i forskjellige deler av en fil, men bevar den opprinnelige rekkefølgen gjennom en annen metode hvis rekkefølgen er viktig.

Syntaks

uniq [PARAMETERS] [INPUT [OUTPUT]]

Firkantede parenteser markerer valgfrie argumenter; en ellipse betyr repetisjon. Erstatt eksempelfilnavn, brukernavn og serveradresser med dine egne verdier.

Vanlige alternativer og argumenter

-c
Vis antall repetisjoner.
-d
Vis bare dupliserte grupper.
-u
Vis bare linjer som ikke gjentar seg.

Eksempler på bruk

Fjern tilstøtende duplikater

uniq ./sorted.txt

Bare påfølgende gjentatte linjer er slått sammen.

Tell like linjer

sort ./names.txt | uniq -c

Sortering av grupper like navn slik at antall forekomster dekker hele inndata.

Vis dupliserte verdier

sort ./names.txt | uniq -d

Bare navn som forekommer gjentatte ganger skrives ut etter sortering.

Merknader og begrensninger

  • Bare tilstøtende rader sammenlignes: for en delt liste, gjør først sort.
  • Rekkefølgen og konseptet for likhet kan avhenge av lokaliteten og de valgte alternativene.

Vanlige spørsmål og feilsøking

Hvorfor er dupliserte linjer fortsatt til stede?

Bare tilstøtende identiske linjer sammenlignes. Separate forekomster forblir med mindre du grupperer dem først eller bruker et verktøy med et nøkkelsett med full inndata.

Vil sort etterfulgt av uniq bevare inndatarekkefølgen?

Nei. Sortering endrer rekkefølge. Hvis den opprinnelige ordren er viktig, bruk en ordrebevarende dedupliseringsmetode og vurder minnet som trengs for nøkkelsettet.

Ytterligere hjelp

Alternativene varierer etter versjon og distribusjon. Sjekk den installerte dokumentasjonen med denne kommandoen: man uniq.