tail -F /path/to/access.log のようなストリームに対して何度でもgrepを試行錯誤できるツール filt を作った - Copy/Cut/Paste/Hatena

2019/08/01 222 users Paste Path grep Cut filt

filtというツールを作りました github.com これはなに まずは以下のスクリーンキャストをご覧ください tail -F /path/to/access.log のようなログの流れを止めてはgrepをして、止めてはgrepのコマンドを変更してしています。 その間、実は裏では実際のストリームは止めていません。 つまり、ストリームのパイプ先に まず... 続きを読む

tail -Fなどの標準出力を一定時間ごとに指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンド evry を作った - Copy/Cut/Paste/Hatena

2019/01/14 264 users サマリ nginx github.com Paste 流量

ログの流量やサマリを、カジュアルに、そしてリアルタイムに確認したかったので作ってみました。 github.com これはなに 標準入力の内容を、一定時間ごと（もしくは一定行ごと）にまとめて指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンドです。 使い方 例えば、「NGINXの10秒あたりのリクエスト... 続きを読む

スケーラブル tail -f | grep on AWS - KAYAC engineers' blog

2016/12/24 122 users KAYAC engineers FUJIWARA Blog

2016 - 12 - 24 スケーラブル tail -f | grep on AWS AdventCalendar2016 Go Lambda aws fluentd こんにちは。組長こと @fujiwara ( id:sfujiwara ) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記... 続きを読む

DC/クラウド/通信事業者サービスの障害事例よせあつめ - # cat /var/log/stereocat | tail -n3

2016/01/26 142 users stereocat log cat var クラウド

memo はじめに データセンタ障害の話題がちらほら流れておりますが、その中で見かけた「データセンタでそんな障害あったら意味ねえじゃん」みたいなコメントにちょっと引っかかるところがありまして。まあ確かに電源の二重化云々とかいろいろ災害やトラブルに対する対策はしてますよ。してますけど、でもデータセンタ・オーダーの障害とかも実際あるんですよね。落ちるときは落ちるんですよデータセンタだろうと。信頼性は高... 続きを読む

Lessの便利な使い方

2015/04/06 699 users Mostly less 形見 Stop using 情弱

最近Stop using tail -f (mostly)や「tail -f」を使うのは情弱、情強は「less +F」を使うなどless押しな記事が幾つか上がっているんだけど、タイトルが煽り気味なのか若干反感を呼んでいるようなのでless派が職場で形見の狭い思いをしないようにもう少し便利な使い方を紹介したい。 tail -fの様なScroll forward less +Fで起動またはless起動... 続きを読む

「tail -f」を使うのは情弱、情強は「less +F」を使う

2015/04/01 827 users ログファイル less 末尾 Stop using コマンド

ログファイルの監視に「tail -f」コマンドを使っている方は多いかもしれません。ファイルの末尾を表示する「tail」コマンドに、ファイル末尾に追加されたデータを追跡表示する「-f」オプションを指定することで、手軽にログの監視ができる便利なコマンドです。 しかし最近、「tail -f」より便利なコマンドとして「less +F」の使用を推奨するブログ記事「Stop using tail -f (mo... 続きを読む

Stop using tail -f (mostly)

2015/03/29 296 users Mostly Stop using Let me

Stop using tail -f (mostly) - Stop using tail -fI still see a lot of people using tail -f to monitor files that are changing, mostly log files. If you are one of them, let me show you a better alterna... 続きを読む

よく忘れるRubyの基本的記法 - なんじゃくにっき２

2014/09/12 163 users Ruby にっき String head 記法

2014-08-30 よく忘れるRubyの基本的記法 Ruby かきかけ 個人用メモ。 Symbol Symbolの配列 %i(a b) # [:a, :b] String 1文字 ?a # "a" Array 積集合 [1, 3, 5, 7, 9] & [1, 2, 3, 4, 5] # [1, 3, 5] headとtailに分解 head, *tail = [1, 2, 3] head # ... 続きを読む

ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜

2014/09/03 211 users 備忘録 Ubuntu CentOS epel ロク

今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 $ sudo yum install ccze  --enablerepo=epel (CentOSの場合) $ sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行... 続きを読む

複数ホストに ssh しながら tail -F するときにはこうしたらどう? - tokuhirom's blog.

2012/08/24 207 users TOKUHIROM SSH 複数ホスト

いろいろ方法があるとおもうのですが、以下のようなシェルスクリプトですませるのはどうでしょうか? #!/bin/bash function kill_children { jobs -l | perl -ne 'print "kill $1\n" if /^\S+?\s+(\d+)/' | sh; wait; } trap "kill_children" EXIT HOSTS="192.168.1.... 続きを読む

標準入力をブラウザで tail -f できる htmlcat というのを書いた - NaN days - subtech

2012/01/19 300 users sleep GitHub motemen while Date

GNU screen 使っているとはいえ開発中に諸々のログを流しておくのにウィンドウ使うのに慣れてなくて、タブ開きまくるならやっぱりブラウザを使いたいってことで、標準入力をブラウザに出してくれるツールを書きました。 motemen/App-htmlcat - GitHub この htmlcat というスクリプトで、くだらない例ですが % (while :; do; date; sleep 1; d... 続きを読む

Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん

2010/09/16 1021 users コトコト Linuxコマンド みかん uniq Paste

linuxLinuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, sed, tr, sort, uniq, wc を取り上げます。ファイルを縦に結合ファイルを縦に結合します。コマンド説明cat file1 ... 続きを読む

Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた

2006/04/26 166 users Kazuho@Cybozu Labs コーパス Mecab

« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいの... 続きを読む