Перегляд і обробка тексту

Команда uniq

Видаліть або підрахуйте повторювані рядки

Linux · Bash приклади · команди виконуються на вибраному сервері

Коли використовувати uniq

Використовуйте uniq для порівняння сусідніх ліній. Спочатку відсортуйте, коли однакові записи можуть з’являтися в різних частинах файлу, але збережіть оригінальний порядок за допомогою іншого методу, якщо послідовність має значення.

Синтаксис

uniq [PARAMETERS] [INPUT [OUTPUT]]

Квадратні дужки позначають необов’язкові аргументи; багатокрапка означає повторення. Замініть зразки імен файлів, імен користувачів і адрес серверів на власні значення.

Поширені варіанти та аргументи

-c
Показати кількість повторень.
-d
Показувати лише повторювані групи.
-u
Показувати лише рядки, які не повторюються.

Приклади використання

Видалити сусідні дублікати

uniq ./sorted.txt

Згортаються лише послідовні повторювані рядки.

Полічіть однакові рядки

sort ./names.txt | uniq -c

Сортування груп із однаковими іменами, щоб підрахунок входжень охоплював увесь вхід.

Показати повторювані значення

sort ./names.txt | uniq -d

Після сортування друкуються лише імена, які повторюються.

Примітки та обмеження

  • Порівнюються лише суміжні рядки: для спільного списку спочатку виконайте sort.
  • Порядок і концепція рівності можуть залежати від локалі та вибраних параметрів.

Поширені запитання та усунення несправностей

Чому повторювані рядки все ще присутні?

Порівнюються лише сусідні однакові рядки. Окремі входження залишаються, якщо ви спочатку не згрупуєте їх або не використаєте інструмент із повним набором ключів.

Чи sort, а потім uniq збереже порядок введення?

Ні. Сортування змінює порядок. Якщо оригінальний порядок має значення, використовуйте метод дедуплікації, що зберігає порядок, і враховуйте пам’ять, необхідну для його набору ключів.

Подальша допомога

Параметри залежать від версії та розповсюдження. Перевірте встановлену документацію за допомогою цієї команди: man uniq.