Просмотр и обработка текста

Команда uniq

Удалить или подсчитать повторяющиеся строки

Linux · примеры для Bash · команда выполняется на выбранном сервере

Когда использовать uniq

Команда uniq сравнивает соседние строки. Если одинаковые записи расположены в разных местах, сначала сгруппируйте их сортировкой. Если порядок важен, понадобится способ удаления повторов, который его сохраняет.

Синтаксис

uniq [ПАРАМЕТРЫ] [ВХОД [ВЫХОД]]

Квадратные скобки обозначают необязательные аргументы, многоточие — повторение. Замените условные имена файлов, пользователей и серверов своими значениями.

Основные параметры и аргументы

-c
Показать количество повторов.
-d
Показать только повторяющиеся группы.
-u
Показать только неповторяющиеся строки.

Примеры использования

Удалить соседние дубликаты

uniq ./sorted.txt

Сворачиваются только последовательные повторяющиеся строки.

Посчитать одинаковые строки

sort ./names.txt | uniq -c

Группы сортировки имеют одинаковые имена, поэтому количество вхождений охватывает весь ввод.

Показать повторяющиеся значения

sort ./names.txt | uniq -d

После сортировки печатаются только имена, которые встречаются неоднократно.

Особенности и ограничения

  • Сравниваются только соседние строки: для общего списка сначала выполните sort.
  • Порядок и понятие равенства могут зависеть от локали и выбранных ключей.

Частые вопросы и решение проблем

Почему повторяющиеся строки все еще присутствуют?

Сравниваются только соседние идентичные строки. Отдельные вхождения остаются, если вы предварительно не сгруппируете их или не воспользуетесь инструментом с полным набором ключей.

Сохранит ли sort, за которым следует uniq, порядок ввода?

Нет. Сортировка меняет порядок. Если исходный порядок имеет значение, используйте метод дедупликации с сохранением порядка и учитывайте объем памяти, необходимый для набора ключей.

Подробная справка

Параметры могут зависеть от установленной версии и дистрибутива. Проверьте справку с помощью следующей команды: man uniq.