Kinesis Data Streamsを追う kinesis-tailf - fujiwara-ware 2024 day 22

2024/12/22 6 users stream 末尾 たび ツール

この記事は fujiwara-ware advent calendar 2024 の22日目です。 kinesis-tailf とは kinesis-tailf は、読んで字のごとく Amazon Kinesis Data Streams を tail -f するためのツールです。 指定した stream の末尾を追い続け、新しいレコードが追加されるたびにそれを表示します。 なぜ作ったのか Amazon Kinesis Data ... 続きを読む

Klogg - マルチプラットフォームの高速ログビューアー | ソフトアンテナ

2024/12/15 25 users データベースサーバー grep less プログラマー 念頭

Webサーバーやデータベースサーバーなど、各種サーバーの状態を確認する際にログの確認はかかせません。 本日紹介する「Klogg」はそのような場合に便利なマルチプラットフォーム対応のGUIログビューアーです。 プログラマーやシステム管理者を念頭に置いて設計されていて、grepやless、tailといったツールの機能をグラフ... 続きを読む

AWS CLIでCloudWatch Logsのロググループをtailできるようになりました！ ｜ Developers.IO

2020/02/16 21 users CloudWatch Logs AWS CLI logs

AWS Lambdaの開発などでAmazon CloudWatch Logsに送っているログをリアルタイムにtailしたい時があります。 AWS CLI v2を利用すると、$ tail -f相当のことが$ aws logs tail --follow LOG-GROUP-NAME で出来るようになりました。 * feature:logs: Added the logs tail command. This tracks new additions to a CloudWat... 続きを読む

2018-2019年のサービス障害を振り返る - # cat /var/log/stereocat | tail -n3

2019/12/30 9 users stereocat log cat var サービス障害

ときどき思い出したように書いている障害事例まとめです。こういうのをやるならせめて年1回くらいはまとめないとダメだね……。昔の記事だと経緯や内容を覚えていないし、ニュース記事 (特に新聞社の記事や企業の障害に関するリリース記事) が消えてしまっていたりする。年末にまとめてドカッと振り返るのはしんどい。 201... 続きを読む

tail -F /path/to/access.log のようなストリームに対して何度でもgrepを試行錯誤できるツール filt を作った - Copy/Cut/Paste/Hatena

2019/08/01 222 users Paste Path grep Cut filt

filtというツールを作りました github.com これはなに まずは以下のスクリーンキャストをご覧ください tail -F /path/to/access.log のようなログの流れを止めてはgrepをして、止めてはgrepのコマンドを変更してしています。 その間、実は裏では実際のストリームは止めていません。 つまり、ストリームのパイプ先に まず... 続きを読む

tail -Fなどの標準出力を一定時間ごとに指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンド evry を作った - Copy/Cut/Paste/Hatena

2019/01/14 264 users サマリ nginx github.com Paste 流量

ログの流量やサマリを、カジュアルに、そしてリアルタイムに確認したかったので作ってみました。 github.com これはなに 標準入力の内容を、一定時間ごと（もしくは一定行ごと）にまとめて指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンドです。 使い方 例えば、「NGINXの10秒あたりのリクエスト... 続きを読む

スケーラブル tail -f | grep on AWS - KAYAC engineers' blog

2016/12/24 122 users KAYAC engineers FUJIWARA Blog

2016 - 12 - 24 スケーラブル tail -f | grep on AWS AdventCalendar2016 Go Lambda aws fluentd こんにちは。組長こと @fujiwara ( id:sfujiwara ) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記... 続きを読む

DC/クラウド/通信事業者サービスの障害事例よせあつめ - # cat /var/log/stereocat | tail -n3

2016/01/26 142 users stereocat log cat var クラウド

memo はじめに データセンタ障害の話題がちらほら流れておりますが、その中で見かけた「データセンタでそんな障害あったら意味ねえじゃん」みたいなコメントにちょっと引っかかるところがありまして。まあ確かに電源の二重化云々とかいろいろ災害やトラブルに対する対策はしてますよ。してますけど、でもデータセンタ・オーダーの障害とかも実際あるんですよね。落ちるときは落ちるんですよデータセンタだろうと。信頼性は高... 続きを読む

rtail - 複数のtailをWebブラウザで閲覧 MOONGIFT

2015/07/27 56 users MOONGIFT タブ コマンド ターミナル ウィンドウ

tailはターミナルの画面で見るのが基本です。そのため、二つのファイルを監視しようと思うと二つのウィンドウまたはタブを開いておく必要があります。これは以外と面倒です。 そこで使ってみたいのがrtailです。rtailがtailの情報を集約し、ブラウザの画面で確認できるようにします。 rtailの使い方 rtailはrtail-serverとrtailの2つのコマンドに分かれています。まずtailの... 続きを読む

Lessの便利な使い方

2015/04/06 699 users Mostly less 形見 Stop using 情弱

最近Stop using tail -f (mostly)や「tail -f」を使うのは情弱、情強は「less +F」を使うなどless押しな記事が幾つか上がっているんだけど、タイトルが煽り気味なのか若干反感を呼んでいるようなのでless派が職場で形見の狭い思いをしないようにもう少し便利な使い方を紹介したい。 tail -fの様なScroll forward less +Fで起動またはless起動... 続きを読む

「tail -f」を使うのは情弱、情強は「less +F」を使う

2015/04/01 827 users ログファイル less 末尾 Stop using コマンド

ログファイルの監視に「tail -f」コマンドを使っている方は多いかもしれません。ファイルの末尾を表示する「tail」コマンドに、ファイル末尾に追加されたデータを追跡表示する「-f」オプションを指定することで、手軽にログの監視ができる便利なコマンドです。 しかし最近、「tail -f」より便利なコマンドとして「less +F」の使用を推奨するブログ記事「Stop using tail -f (mo... 続きを読む

Stop using tail -f (mostly)

2015/03/29 296 users Mostly Stop using Let me

Stop using tail -f (mostly) - Stop using tail -fI still see a lot of people using tail -f to monitor files that are changing, mostly log files. If you are one of them, let me show you a better alterna... 続きを読む

Multiple Site-to-Site VPNs in VRF mode - # cat /var/log/stereocat | tail -n3

2014/10/11 21 users stereocat log cat var

studyやりたいことひとつ(物理)ルータで複数の拠点に対して IPsec VPN をはりたい各拠点とのVPNは、システムとしては別物なので、相互に通信しない(分離する) 個々の VPN(IPsec SA) を別々の VRF にマッピングしてルーティングテーブルを分離する。MPLS-VPN で的なユースケースですね。元々は AWS VPC への接続について(複数のVPCに1つのルータで接続する)こ... 続きを読む

よく忘れるRubyの基本的記法 - なんじゃくにっき２

2014/09/12 163 users Ruby にっき String head 記法

2014-08-30 よく忘れるRubyの基本的記法 Ruby かきかけ 個人用メモ。 Symbol Symbolの配列 %i(a b) # [:a, :b] String 1文字 ?a # "a" Array 積集合 [1, 3, 5, 7, 9] & [1, 2, 3, 4, 5] # [1, 3, 5] headとtailに分解 head, *tail = [1, 2, 3] head # ... 続きを読む

ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜

2014/09/03 211 users 備忘録 Ubuntu CentOS epel ロク

今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 $ sudo yum install ccze  --enablerepo=epel (CentOSの場合) $ sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行... 続きを読む

マルチ画面でコマンドを実行させられる「multitail」コマンド | 俺的備忘録 〜なんかいろいろ〜

2014/07/13 77 users Ubuntu 備忘録 Debian コマンド 監視

SSHごしに、マルチ画面でtailやコマンドの実行を行えるツール『multitail』というものがあると知ったので試してみることにした。 マルチ画面でtailをかけられるということは、監視などでいくつもTeratermのウィンドウを開かなくてもいいということか…ちょっと便利そう。 1.インストール まずはインストールから。 以下のコマンドを実行しインストールを行う。 ●Debian/Ubuntu ... 続きを読む

Star Wars Traceroute 徹底解説 - # cat /var/log/stereocat | tail -n3

2013/02/10 22 users stereocat log cat var 徹底解説

memoTwitter で回ってきたのが VRF 応用ネタとして面白かったので読んでみた。時事ネタはすぐ風化しちゃうし、せっかく整理したのが勿体ないので書いておく。某ネタフリがあったけど、暇だったので書いちゃいました。 きっとひかりさんが解説してくれる #自宅ラック勉強会 RT @_nigou_: @qryuu 作者のネタバレありますよ URL2013-02-10 13:04:55 via Hoo... 続きを読む

Proclet で tail -F をつかうと便利 - tokuhirom's blog.

2013/02/02 8 users TOKUHIROM Proclet staging stf

2013-02-02 Proclet で tail -F をつかうと便利 最近は Proclet で local の開発環境を構築している(そして staging で daemontools で確認する)。Proclet で memcached, STF, plackup, nginx などを起動してしまうというワケ。で、ここで問題となるのが、File::RotateLogs をつかってログをとっ... 続きを読む

App::YG - ログをう゛ぁーてぃかるぱみゅぱみゅしちゃう！！ - Perl Advent Calendar Japan 2012 Hacker Track

2012/12/07 50 users App bayashi vim cat ロク

やあハッキングモンスターのみんな、元気かーい？ ぼくは普通です。きょうはみんなでログをう゛ぁーてぃかるぱみゅぱみゅしちゃうぞ！あ、こんにちは bayashi です。さて、ログは見てるかい？cat してるかい？ tail してるかい？ GB単位のログを vim で開いてフリーズさせてやいないかい？ログは吐いたら終わりじゃいけないぜ！ちゃんとうぉっちしないと鬼がでちゃうぞ！！とはいえ、そんなログも、た... 続きを読む

複数ホストに ssh しながら tail -F するときにはこうしたらどう? - tokuhirom's blog.

2012/08/24 207 users TOKUHIROM SSH 複数ホスト

いろいろ方法があるとおもうのですが、以下のようなシェルスクリプトですませるのはどうでしょうか? #!/bin/bash function kill_children { jobs -l | perl -ne 'print "kill $1\n" if /^\S+?\s+(\d+)/' | sh; wait; } trap "kill_children" EXIT HOSTS="192.168.1.... 続きを読む

L3スイッチとVRFでつくる自宅ラボ・ネットワーク - # cat /var/log/stereocat | tail -n3

2012/02/28 29 users VRF stereocat log cat var

studyはじめに珍しくここのところ連日ブログ更新しています。昨年後半くらいからちょっとずつためていたネタを放出しているだけなのですが。これ書いたらいったん終わりかなあ…。これまでは、宅内環境つくるにあたってみてきた要素技術を切り出して書いてきました。そこで、実際のところこういう利用方法があるよ、という例として自宅の構成の話を。自分が何をやりたくてそれぞれの要素を見てきたのかをまとめておこうと思っ... 続きを読む

標準入力をブラウザで tail -f できる htmlcat というのを書いた - NaN days - subtech

2012/01/19 300 users sleep GitHub motemen while Date

GNU screen 使っているとはいえ開発中に諸々のログを流しておくのにウィンドウ使うのに慣れてなくて、タブ開きまくるならやっぱりブラウザを使いたいってことで、標準入力をブラウザに出してくれるツールを書きました。 motemen/App-htmlcat - GitHub この htmlcat というスクリプトで、くだらない例ですが % (while :; do; date; sleep 1; d... 続きを読む

GNU Parallel いいかもね - Clouder::Blogger

2011/05/17 20 users Clouder Blogger perl コンパイル サーバ

GNU Parallelがすごすぎて生きるのがつらいを見て使ってみました。 そもそも複数のサーバのaccess_logをtail -fで一括で見たかったからです。 GNU Parallelからダウンロードして % ./configure % make % make install でインストールは終了。簡単！ Perlで書かれてるんでコンパイルとか必要ないっす。 インストールしたら目的のサーバ群に... 続きを読む

Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん

2010/09/16 1021 users コトコト Linuxコマンド みかん uniq Paste

linuxLinuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, sed, tr, sort, uniq, wc を取り上げます。ファイルを縦に結合ファイルを縦に結合します。コマンド説明cat file1 ... 続きを読む

Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた

2006/04/26 166 users Kazuho@Cybozu Labs コーパス Mecab

« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいの... 続きを読む