テキストの表示と処理

コマンド uniq

重複行を削除またはカウントする

Linux · Bash の例 · 選択したサーバー上で実行されるコマンド

uniq を使用する場合

隣接する行を比較するには、uniq を使用します。ファイルの異なる部分に同じレコードが存在する可能性がある場合は最初に並べ替えますが、順序が重要な場合は別の方法で元の順序を保持します。

構文

uniq [PARAMETERS] [INPUT [OUTPUT]]

角括弧はオプションの引数を示します。省略記号は繰り返しを意味します。ファイル名、ユーザー名、サーバー アドレスの例を独自の値に置き換えます。

共通のオプションと引数

-c
繰り返し回数を表示します。
-d
重複するグループのみを表示します。
-u
繰り返しのない行のみを表示します。

使用例

隣接する重複を削除する

uniq ./sorted.txt

連続した繰り返し行のみが折りたたまれます。

同一行を数える

sort ./names.txt | uniq -c

ソートグループは名前と同じなので、出現数は入力全体をカバーします。

重複した値を表示する

sort ./names.txt | uniq -d

繰り返し出現する名前のみがソート後に出力されます。

注意事項と制限事項

  • 隣接する行のみが比較されます。共有リストの場合は、最初に sort を実行します。
  • 同等性の順序と概念は、ロケールと選択したオプションによって異なる場合があります。

よくある質問とトラブルシューティング

重複した行がまだ存在するのはなぜですか?

隣接する同一のラインのみが比較されます。最初にグループ化するか、完全な入力キー セットを備えたツールを使用しない限り、個別のオカレンスは残ります。

sort の後に uniq を指定すると、入力順序が維持されますか?

いいえ、並べ替えると順序が変わります。元の順序が重要な場合は、順序を保持する重複排除方法を使用し、そのキー セットに必要なメモリを考慮してください。

さらにヘルプ

オプションはバージョンとディストリビューションによって異なります。次のコマンドを使用して、インストールされているドキュメントを確認します。 man uniq.