查看和处理文本

命令 uniq

删除或计算重复行

Linux · Bash 示例 · 在所选服务器上运行的命令

何时使用 uniq

使用 uniq 比较相邻线。当文件的不同部分中可能出现相同的记录时,首先排序,但如果顺序很重要,则通过其他方法保留原始排序。

语法

uniq [PARAMETERS] [INPUT [OUTPUT]]

方括号标记可选参数;省略号意味着重复。将示例文件名、用户名和服务器地址替换为您自己的值。

常见选项和参数

-c
显示重复次数。
-d
仅显示重复的组。
-u
仅显示非重复行。

使用示例

删除相邻的重复项

uniq ./sorted.txt

仅折叠连续的重复行。

计算相同的行数

sort ./names.txt | uniq -c

对相同名称进行排序,以便出现次数涵盖整个输入。

显示重复值

sort ./names.txt | uniq -d

排序后仅打印重复出现的名称。

注意事项和限制

  • 仅比较相邻行:对于共享列表,首先执行 sort。
  • 平等的顺序和概念可能取决于区域设置和所选选项。

常见问题和故障排除

为什么重复的行仍然存在?

仅比较相邻的相同线。除非您首先将它们分组或使用具有完整输入键集的工具,否则单独的事件仍然存在。

sort 后跟 uniq 是否会保留输入顺序?

不会。排序会改变顺序。如果原始顺序很重要,请使用保留顺序的重复数据删除方法并考虑其键集所需的内存。

进一步的帮助

选项因版本和发行版而异。使用以下命令检查已安装的文档: man uniq.