タグ「ログファイル」

タグログファイル

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 22 / 22件)

DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users Parquet DuckDB JSON Lines 出力ロク

まとめ圧縮された複数の JSON Lines を読み込める S3 から直接読み込める好きなタイミングで Parquet で出力 DuckDB とはこちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

AWSにおけるアプリケーションのログ記録のベストプラクティス - Qiita

2023/03/10 155 users Qiita アプリケーションログベストプラクティス AWS

はじめにアプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。こ... 続きを読む

S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

2018/05/02 134 users インフラストラクチャー部セキュリティグループストリーム

2018 - 05 - 02 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介インフラストラクチャー部セキュリティグループの水谷( @m_mizutani )です。クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に... 続きを読む

logrotateの設定とファイルのアクセスモードについて – Tatsuya Kaneko – Medium

2018/03/03 123 users logrotate medium サーバー一定間隔肥大化

logrotateの設定とファイルのアクセスモードについて大量にアクセスが来るサーバーのlogrotateは意外と考えることが多いです。大量にアクセスが来るなら当然それだけログファイルが簡単に肥大化します。そこで一定間隔でログファイルを別のファイル名に変更して、書き込み先を新しいファイルにする必要があります。これについてどういう設定をすればいいのか、昔自分が調べたり、考えたりしたことを少し書い... 続きを読む

HPのPCにキーロガー？　セキュリティ企業が指摘 - ITmedia NEWS

2017/05/12 309 users キーロガードライバパッケージオーディオドライバ指摘

全てのキー入力を記録したログファイルが、ユーザーにも読める状態で、Cドライブのフォルダ内に保存されているという。スイスのセキュリティ企業modzeroは5月11日、HPのPC向けオーディオドライバに、入力内容を記録するキーロガーを見付けたと伝えた。 modzeroによると、問題のオーディオドライバは、半導体メーカーのConexantが開発したもので、HPのWebサイトでドライバパッケージとして提... 続きを読む

HPのPCにキーロガー？　セキュリティ企業が指摘 - ITmedia エンタープライズ

2017/05/12 309 users キーロガードライバパッケージオーディオドライバ指摘

不正アクセスからサーバを守るfail2ban。さくらのクラウド、VPSで使ってみよう！ - さくらのナレッジ

2017/01/16 89 users VPS ナレッジ SSH http サーバ

こんにちは。さくらインターネットの前佛です。今回は、サーバのログファイルを自動スキャンして、悪意のある SSH 通信を自動遮断するツール fail2ban の概要と使い方をご紹介します。日々、不正アクセスインターネット上のサーバは、SSH や HTTP など、公開しているポートに対する不正アクセスの試みに日々晒されています。不正アクセスは悪意を持った人からの攻撃だけではありません。マルウェア... 続きを読む

大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ

2015/07/22 327 users awk vim cat sublime text カメニッキ

2015-07-22 大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 Linux 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、初awkしてみた。注意目的はログファイルからある期間だけの行を抜き取りたい正規表現がい... 続きを読む

「tail -f」を使うのは情弱、情強は「less +F」を使う

2015/04/01 827 users tail less 末尾 Stop using コマンド

ログファイルの監視に「tail -f」コマンドを使っている方は多いかもしれません。ファイルの末尾を表示する「tail」コマンドに、ファイル末尾に追加されたデータを追跡表示する「-f」オプションを指定することで、手軽にログの監視ができる便利なコマンドです。しかし最近、「tail -f」より便利なコマンドとして「less +F」の使用を推奨するブログ記事「Stop using tail -f (mo... 続きを読む

ERRORログが多すぎるWebアプリに出会ったら | GMOインターネット次世代システム研究室

2015/03/30 64 users エラーログ GMOインターネット Webアプリロクログ形式

次世代システム研究室のDevOpsネタ担当（最近は運用寄り）のM. Y.です。最近仕事で、あるWebアプリのログファイルを解析する機会がありました。そのログファイルはERRORレベルのエラーログが非常に多く、それらのERRORログから実際に注意しなければならないログを発見する、というのがそのときの目的でした。アプリを作り始めたときはログ形式に注意を払っていたのに、そのアプリが歴史を重ねるうちに... 続きを読む

Macの不要なキャッシュファイルや重複ファイルなどを削除できるアプリ「Toolwiz Mac Boost」 | 男子ハック

2014/10/13 52 users Mac 男子ハック重複ファイルキャッシュファイルアプリ

僕は定期的にキャッシュファイルは削除していたつもりなのですがキャッシュファイルとログファイルあわせて900MB程度の不要ファイルが溜まっていました。何もしていない人はもっと溜まっているかも。「Toolwiz Mac Boost」では、これら不要ファイルのスキャンと削除がワンクリックで行えます。他にもアプリケーションの削除などもワンクリック。メモリの開放やプラグインの削除も行うことができます。 ... 続きを読む

Amazon CloudWatch Logsでログファイルを監視する｜ Developers.IO

2014/07/10 70 users Developers.IO

ども、大瀧です。本日開催されているAWS Summit New YorkでCloudWatchの新機能、CloudWatch Logsが発表されました。ログ蓄積サービスとしてバックでKinesisが動いているらしく、スケーラブルなログアグリゲーションサービスとして期待できそうです。ひとまず、どんなものか試してみたのでレポートします。 1. IAMユーザー/IAMロールの準備動作する仕組みは一... 続きを読む

ftp-adminの憂鬱: ログファイルの圧縮方法

2013/10/11 78 users ftp-admin ftp.jaist.ac.jp 圧縮

2013年10月11日金曜日ログファイルの圧縮方法 Tweet 以前紹介したのですが、ftp.jaist.ac.jpのアクセスログの圧縮にはpbzip2を使っています。最初はgzipを使っていましたが、アクセス数の増加とともにログが大きくなって、ディスク容量を圧迫するようになってきたのでbzip2に切り替えました。 gzipとbzip2の圧縮率はアクセスログでは約2倍違います。たとえば、2013... 続きを読む

ExcelでLTSV読むよー - aikeの日記

2013/02/13 97 users aike LTSV 罫線 VBA Excel

LTSVが最近熱いですね。ログファイルのフォーマットはこれで決まり、みたいな。とはいえ、業務システムだといまだに人月計算とスーツとExcelの世界なので、上司に提出する場合とかそのあたりの親和性をなんとかしたいところです。そんなわけでExcelでLTSVを読めるようにVBAを書いてみました。これでログを罫線で囲ったりセルに色をつけたりできます！嬉しいのか、それ。　　 Attribute VB_Na... 続きを読む

DSAS開発者の部屋:KLab勉強会#6の資料公開

2012/06/27 89 users DSAS開発者部屋資料公開敦史於保

6/25に開催した、KLab勉強会#6の資料を公開します。『名状し難きDBアンチパターン』～牧内大輔(KLab株式会社) 発表資料 (PDF, 200KB) 『圧縮されたログファイルの活用ツール』～於保俊(KLab株式会社) 発表資料 (PDF, 270KB) 『ソーシャルゲームのデータマイニング的な話』～高田敦史(KLab株式会社) 発表資料 (PDF, 1.0 MB) 当日... 続きを読む

クエリの改善に。MySQLのSlow Query Logを可視化する「MySQL slow-query-log Visualizer」 - MOONGIFT|オープンソース・ソフトウェア紹介を軸としたITエンジニア、Webデザイナー向けブログ

2012/06/18 159 users MOONGIFT クエリ MySQL Webブラウザベース

MySQLには実行時間の遅いクエリをログファイルに書き出す機能があります。単純にテキストに吐かれるだけなので分析に時間がかかってしまうのではないでしょうか。そこで使ってみたいのがWebブラウザベースの解析ソフトウェアMySQL slow-query-log Visualizerです。 0 続きを読む

(1 - 22 / 22件)