Xem và xử lý văn bản

Lệnh uniq

Xóa hoặc đếm các dòng trùng lặp

Linux · Ví dụ Bash · lệnh chạy trên máy chủ đã chọn

Khi nào nên sử dụng uniq

Sử dụng uniq để so sánh các dòng liền kề. Sắp xếp trước khi các bản ghi bằng nhau có thể xuất hiện ở các phần khác nhau của tệp, nhưng vẫn giữ nguyên thứ tự ban đầu thông qua phương thức khác nếu trình tự có vấn đề.

Cú pháp

uniq [PARAMETERS] [INPUT [OUTPUT]]

Dấu ngoặc vuông đánh dấu các đối số tùy chọn; dấu chấm lửng có nghĩa là sự lặp lại. Thay thế tên tệp mẫu, tên người dùng và địa chỉ máy chủ bằng các giá trị của riêng bạn.

Các lựa chọn và đối số chung

-c
Hiển thị số lần lặp lại
-d
Chỉ hiển thị các nhóm trùng lặp.
-u
Chỉ hiển thị các dòng không lặp lại.

Ví dụ sử dụng

Loại bỏ các bản sao liền kề

uniq ./sorted.txt

Chỉ các dòng lặp lại liên tiếp mới được thu gọn.

Đếm các dòng giống nhau

sort ./names.txt | uniq -c

Sắp xếp các nhóm có tên bằng nhau để số lần xuất hiện bao trùm toàn bộ dữ liệu đầu vào.

Hiển thị giá trị trùng lặp

sort ./names.txt | uniq -d

Chỉ những tên xuất hiện nhiều lần mới được in sau khi sắp xếp.

Lưu ý và hạn chế

  • Chỉ các hàng liền kề mới được so sánh: đối với danh sách dùng chung, trước tiên hãy thực hiện sort.
  • Thứ tự và khái niệm về sự bình đẳng có thể phụ thuộc vào địa phương và các phương án đã chọn.

Các câu hỏi thường gặp và cách khắc phục sự cố

Tại sao các dòng trùng lặp vẫn còn tồn tại?

Chỉ có các dòng giống hệt nhau liền kề được so sánh. Các lần xuất hiện riêng biệt vẫn tồn tại trừ khi bạn nhóm chúng trước hoặc sử dụng công cụ có bộ khóa đầu vào đầy đủ.

sort theo sau là uniq có giữ nguyên thứ tự đầu vào không?

Không. Sắp xếp thay đổi thứ tự. Nếu thứ tự ban đầu có vấn đề, hãy sử dụng phương pháp chống trùng lặp bảo toàn thứ tự và xem xét bộ nhớ cần thiết cho bộ khóa của nó.

Trợ giúp thêm

Các tùy chọn khác nhau tùy theo phiên bản và phân phối. Kiểm tra tài liệu đã cài đặt bằng lệnh này: man uniq.