uniqコマンドで覚えておきたい使い方6個 | 俺的備忘録 〜なんかいろいろ〜

2015/09/24 65 users UNIX test 備忘録 cat Linux

uniqコマンドは、Linux/UNIXで使用される、重複した行を圧縮して出力してくれるコマンドだ。 今回は、このコマンドについて覚えておきたい使い方についてを紹介する。 1.基本的な使い方 基本的には、以下のように使用することで標準出力の内容から重複行を圧縮して表示させることが出来る。 [root@test-centos7 ~]# cat /test/test3.txt aaaaa aaaaa ... 続きを読む

【レビュー】テキストファイルに複数の条件を指定して加工できる「てきすとこんばーたー」 - 窓の杜

2014/10/21 22 users コンパ テキスト テキストファイル 加工 フリーソフト

レビュー テキストファイルに複数の条件を指定して加工できる「てきすとこんばーたー」 テキストの連結・ソート・重複行の削除などが可能。複数ファイルの連結機能も （2014/10/21 11:00） 「てきすとこんばーたー」v1.25 「てきすとこんばーたー」は、テキストファイルを加工・編集するソフト。Windows 7および同64bit版に対応するフリーソフトで、編集部にてWindows 8.1で動... 続きを読む

【SQL入門】group by,distinctどちらが性能がよいのか - ＦＯＲ　ＳＥ

2014/03/13 104 users Group 備忘録 SQL entry SQL入門

2014-03-13 【SQL入門】group by,distinctどちらが性能がよいのか SQL 自己学習 【今回の内容】 前回は基本的なＳＱＬを備忘録で簡単にまとめていたけど、 http://forse.hatenablog.com/entry/2014/03/13/200356 その中に気になることがあったので調べたものをメモとして紹介します。 今の自分の現場では、重複行を絞り込む時に、d... 続きを読む

sort と uniq でさくっとランキングを出力する - blog.nomadscafe.jp

2012/07/27 123 users uniq Sort イディオム access_log カウント

知っている人多いと思うけど、よく使うイディオム $ .. | sort | uniq -c | sort -nr 「sort | uniq -c」で重複行をカウントでき、さらに「sort -n」で行を数字と見なしてソートすることで重複行のカウントで並べなおすことができます 例えば、Webサーバのaccess_logからよくアクセスしてくるIPアドレスを集計してランキングを表示するには以下のよう書け... 続きを読む