uniq を使用する場合
隣接する行を比較するには、uniq を使用します。ファイルの異なる部分に同じレコードが存在する可能性がある場合は最初に並べ替えますが、順序が重要な場合は別の方法で元の順序を保持します。
構文
uniq [PARAMETERS] [INPUT [OUTPUT]]角括弧はオプションの引数を示します。省略記号は繰り返しを意味します。ファイル名、ユーザー名、サーバー アドレスの例を独自の値に置き換えます。
共通のオプションと引数
使用例
隣接する重複を削除する
uniq ./sorted.txt連続した繰り返し行のみが折りたたまれます。
同一行を数える
sort ./names.txt | uniq -cソートグループは名前と同じなので、出現数は入力全体をカバーします。
重複した値を表示する
sort ./names.txt | uniq -d繰り返し出現する名前のみがソート後に出力されます。
注意事項と制限事項
- 隣接する行のみが比較されます。共有リストの場合は、最初に sort を実行します。
- 同等性の順序と概念は、ロケールと選択したオプションによって異なる場合があります。
よくある質問とトラブルシューティング
重複した行がまだ存在するのはなぜですか?
隣接する同一のラインのみが比較されます。最初にグループ化するか、完全な入力キー セットを備えたツールを使用しない限り、個別のオカレンスは残ります。
sort の後に uniq を指定すると、入力順序が維持されますか?
いいえ、並べ替えると順序が変わります。元の順序が重要な場合は、順序を保持する重複排除方法を使用し、そのキー セットに必要なメモリを考慮してください。
さらにヘルプ
オプションはバージョンとディストリビューションによって異なります。次のコマンドを使用して、インストールされているドキュメントを確認します。 man uniq.