Когда использовать uniq
Команда uniq сравнивает соседние строки. Если одинаковые записи расположены в разных местах, сначала сгруппируйте их сортировкой. Если порядок важен, понадобится способ удаления повторов, который его сохраняет.
Синтаксис
uniq [ПАРАМЕТРЫ] [ВХОД [ВЫХОД]]Квадратные скобки обозначают необязательные аргументы, многоточие — повторение. Замените условные имена файлов, пользователей и серверов своими значениями.
Основные параметры и аргументы
Примеры использования
Удалить соседние дубликаты
uniq ./sorted.txtСворачиваются только последовательные повторяющиеся строки.
Посчитать одинаковые строки
sort ./names.txt | uniq -cГруппы сортировки имеют одинаковые имена, поэтому количество вхождений охватывает весь ввод.
Показать повторяющиеся значения
sort ./names.txt | uniq -dПосле сортировки печатаются только имена, которые встречаются неоднократно.
Особенности и ограничения
- Сравниваются только соседние строки: для общего списка сначала выполните sort.
- Порядок и понятие равенства могут зависеть от локали и выбранных ключей.
Частые вопросы и решение проблем
Почему повторяющиеся строки все еще присутствуют?
Сравниваются только соседние идентичные строки. Отдельные вхождения остаются, если вы предварительно не сгруппируете их или не воспользуетесь инструментом с полным набором ключей.
Сохранит ли sort, за которым следует uniq, порядок ввода?
Нет. Сортировка меняет порядок. Если исходный порядок имеет значение, используйте метод дедупликации с сохранением порядка и учитывайте объем памяти, необходимый для набора ключей.
Подробная справка
Параметры могут зависеть от установленной версии и дистрибутива. Проверьте справку с помощью следующей команды: man uniq.