DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users Parquet DuckDB JSON Lines 出力 ロク

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

AWSにおけるアプリケーションのログ記録のベストプラクティス - Qiita

2023/03/10 155 users Qiita アプリケーションログ ベストプラクティス AWS

はじめに アプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。こ... 続きを読む

CloudWatch Logs へのログ転送と logrotate を併用すると、ログが欠損します。原因と対処法を教えてください | DevelopersIO

2022/09/06 15 users logrotate DevelopersIO エージェント

困っていた内容 CludWatch エージェントを使用して EC2 インスタンス内部のログファイルを CloudWatch Logs へ転送していますが、対象のログファイルに logrotate を適用してファイルをローテーションさせると、CloudWatch Logs へのログ転送が欠損する場合があります。この原因と対処法を教えてください。 どう対応すれ... 続きを読む

ログのクラスタリング分析の処理をGoで実装し、Cloud RunとPub/Subを使ってサーバレスで処理できる仕組みを作る - Qiita

2020/02/25 11 users Problem pub サーバレス GAE Firebase

Help us understand the problem. What is going on with this article? 先日、Firebase + GAEを使って実装したサービス「LogCrow」に新しい機能として、ログの登録を簡略化するために、ログファイルをアップロードして、ログの各行をクラスタリングし、類似ログ同士をまとめあげた上で、ログ登録できる機能を追加しまし... 続きを読む

クアルコムがアップルを非難「企業秘密をインテルに提供」 - CNET Japan

2018/09/25 18 users インテル クアルコム 非難 アップル Qualcomm

Qualcommは、チップに関する企業秘密を盗んで、それを同社と競合するチップ企業Intelに提供したとして、Appleを非難している。 米国時間9月24日にカリフォルニア州上級裁判所に提出された訴状によると、Appleは、「iPhone」に搭載されるIntel製チップの脆弱性を解決するために、Qualcommのソースコードとログファイルを... 続きを読む

mackerel-check-plugins v0.22.1 で入った、check-log への変更について - Mackerel ブログ #mackerelio

2018/09/19 15 users mackerelio cre mackerel a-know

こんにちは。Mackerelチーム CRE の井上（id:a-know）です。 昨日、同じくCREの三浦（id:missasan）より、Mackerelのアップデート告知をお知らせしましたが、その中で以下のようなアップデートが含まれていたかと思います。 go-check-plugins v0.22.1 のリリースで、check-log プラグインでログファイルを追尾する際にin... 続きを読む

S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

2018/05/02 134 users インフラストラクチャー部セキュリティグループ ストリーム

2018 - 05 - 02 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 インフラストラクチャー部セキュリティグループの水谷( @m_mizutani )です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に... 続きを読む

logrotateの設定とファイルのアクセスモードについて – Tatsuya Kaneko – Medium

2018/03/03 123 users logrotate medium サーバー 一定間隔 肥大化

logrotateの設定とファイルのアクセスモードについて 大量にアクセスが来るサーバーのlogrotateは意外と考えることが多いです。大量にアクセスが来るなら当然それだけログファイルが簡単に肥大化します。そこで一定間隔でログファイルを別のファイル名に変更して、書き込み先を新しいファイルにする必要があります。 これについてどういう設定をすればいいのか、昔自分が調べたり、考えたりしたことを少し書い... 続きを読む

Googleのモバイルファーストインデックスに切り替わったかどうかを知るにはログファイルが役立つ | 海外SEO情報ブログ

2017/12/18 26 users Googlebot MFi モバイルファーストインデックス

[レベル: 上級] 管理しているサイトがモバイル ファースト インデックス（以下、MFI）へ移行したのかどうかを調べる方法として、サーバーのログファイルの監視を Google の John Mueller（ジョン・ミューラー）氏は推奨しました。 ログファイルを見て、スマートフォン版 Googlebot の活動量が PC 版 Googlebot の活動量を逆転し上回っているようであれば、MFI に切... 続きを読む

HPのPCにキーロガー？　セキュリティ企業が指摘 - ITmedia NEWS

2017/05/12 309 users キーロガー ドライバパッケージ オーディオドライバ 指摘

全てのキー入力を記録したログファイルが、ユーザーにも読める状態で、Cドライブのフォルダ内に保存されているという。 スイスのセキュリティ企業modzeroは5月11日、HPのPC向けオーディオドライバに、入力内容を記録するキーロガーを見付けたと伝えた。 modzeroによると、問題のオーディオドライバは、半導体メーカーのConexantが開発したもので、HPのWebサイトでドライバパッケージとして提... 続きを読む

HPのPCにキーロガー？　セキュリティ企業が指摘 - ITmedia エンタープライズ

2017/05/12 309 users キーロガー ドライバパッケージ オーディオドライバ 指摘

全てのキー入力を記録したログファイルが、ユーザーにも読める状態で、Cドライブのフォルダ内に保存されているという。 スイスのセキュリティ企業modzeroは5月11日、HPのPC向けオーディオドライバに、入力内容を記録するキーロガーを見付けたと伝えた。 modzeroによると、問題のオーディオドライバは、半導体メーカーのConexantが開発したもので、HPのWebサイトでドライバパッケージとして提... 続きを読む

不正アクセスからサーバを守るfail2ban。さくらのクラウド、VPSで使ってみよう！ - さくらのナレッジ

2017/01/16 89 users VPS ナレッジ SSH http サーバ

こんにちは。さくらインターネットの前佛です。 今回は、サーバのログファイルを自動スキャンして、悪意のある SSH 通信を自動遮断するツール fail2ban の概要と使い方をご紹介します。 日々、不正アクセス インターネット上のサーバは、SSH や HTTP など、公開しているポートに対する不正アクセスの試みに日々晒されています。不正アクセスは悪意を持った人からの攻撃だけではありません。マルウェア... 続きを読む

大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ

2015/07/22 327 users awk vim cat sublime text カメニッキ

2015-07-22 大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 Linux 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、初awkしてみた。 注意 目的はログファイルからある期間だけの行を抜き取りたい 正規表現がい... 続きを読む

Hadoopが扱う機密データのマスキングについて - Qiita

2015/07/21 22 users Hadoop Qiita Hive Hadoopクラスタ 機能

CDH 5.4 から導入された、Sensitive Data Redaction (機密データのマスキング) 機能を紹介します。 できること Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングが可能です。 必要なもの CDH 5.4 / Cloudera Manager 5.4 手順 Cloudera Managerにログインし、HDFSサービス... 続きを読む

ファイルをrmしたがプロセスがファイルを掴んでいる場合にそのファイル内容を再度得るには - 人間とウェブの未来

2015/04/10 43 users プロセス ウェブ 再度 ファイル 未来

2015-04-10 ファイルをrmしたがプロセスがファイルを掴んでいる場合にそのファイル内容を再度得るには 運用 プログラミング ど忘れしていたのでメモです。 Apacheのログローテート時に、プロセスをgracefulしたつもりが何らかの原因によりできていなくて、その後古いログファイルを圧縮して、いらなくなったその生ログファイルをrmしたつもりが、プロセスはそのログファイルのinodeを掴みっ... 続きを読む

「tail -f」を使うのは情弱、情強は「less +F」を使う

2015/04/01 827 users tail less 末尾 Stop using コマンド

ログファイルの監視に「tail -f」コマンドを使っている方は多いかもしれません。ファイルの末尾を表示する「tail」コマンドに、ファイル末尾に追加されたデータを追跡表示する「-f」オプションを指定することで、手軽にログの監視ができる便利なコマンドです。 しかし最近、「tail -f」より便利なコマンドとして「less +F」の使用を推奨するブログ記事「Stop using tail -f (mo... 続きを読む

ERRORログが多すぎるWebアプリに出会ったら | GMOインターネット 次世代システム研究室

2015/03/30 64 users エラーログ GMOインターネット Webアプリ ロク ログ形式

次世代システム研究室のDevOpsネタ担当（最近は運用寄り）のM. Y.です。 最近仕事で、あるWebアプリのログファイルを解析する機会がありました。そのログファイルはERRORレベルのエラーログが非常に多く、それらのERRORログから実際に注意しなければならないログを発見する、というのがそのときの目的でした。 アプリを作り始めたときはログ形式に注意を払っていたのに、そのアプリが歴史を重ねるうちに... 続きを読む

cronのログを日付ごとに出す方法 | ScrapEngineer

2015/01/13 25 users ScrapEngineer cron bin root 出力

バッチ用プログラムを書いた時に一々プログラム側でログの出力をするのが面倒って時に使えます。 ログの出力先に指定して、dateコマンドを使ってログファイルを出力します。バッチ用プログラムを書いた時に一々プログラム側でログの出力をするのが面倒って時に使えます。 ログの出力先に指定して、dateコマンドを使ってログファイルを出力します。 サンプルcron 0 0 * * * /bin/sh /root/... 続きを読む

Macの不要なキャッシュファイルや重複ファイルなどを削除できるアプリ「Toolwiz Mac Boost」 | 男子ハック

2014/10/13 52 users Mac 男子ハック 重複ファイル キャッシュファイル アプリ

僕は定期的にキャッシュファイルは削除していたつもりなのですがキャッシュファイルとログファイルあわせて900MB程度の不要ファイルが溜まっていました。何もしていない人はもっと溜まっているかも。 「Toolwiz Mac Boost」では、これら不要ファイルのスキャンと削除がワンクリックで行えます。 他にもアプリケーションの削除などもワンクリック。メモリの開放やプラグインの削除も行うことができます。 ... 続きを読む

Amazon Web Services ブログ: 【AWS発表】Amazon CloudWatchによるOSやログファイルの蓄積とモニタリング機能の提供

2014/07/14 49 users 格納 アプリケーション 蓄積 クラウド AWS発表

静的に運用されている環境からクラウドの力を活かし、動的にスケールする環境に移行する時、運用しているシステムやアプリケーションが出力するログファイルの取得、格納、分析するための構造を見直す必要があるでしょう。なぜなら、インスタンスは動的に変化するためログをそのインスタンスに長期に格納するのはむいていないからです。 スケールする環境でシステムを動作させるとき簡単にログファイルを格納する場所を探すことが... 続きを読む

Amazon CloudWatch Logsでログファイルを監視する ｜ Developers.IO

2014/07/10 70 users Developers.IO

ども、大瀧です。 本日開催されているAWS Summit New YorkでCloudWatchの新機能、CloudWatch Logsが発表されました。 ログ蓄積サービスとしてバックでKinesisが動いているらしく、スケーラブルなログアグリゲーションサービスとして期待できそうです。ひとまず、どんなものか試してみたのでレポートします。 1. IAMユーザー/IAMロールの準備 動作する仕組みは一... 続きを読む

CloudWatchとlogmonでEC2 Linuxのログを監視する | mooapp

2014/06/24 42 users mooapp CloudWatch AWS 監視 数値

CloudWatchはAWSで用意されている監視サービスで、パフォーマンスやシステムの状態を監視することができます。 このCloudWatchによる監視は数値の監視を対象としているため、一般的な監視ツールでよくある”ログ監視”をすることはできません。 ※ここでの「ログ監視」は、ログファイルに出力されるメッセージをあらかじめ定義したパターンと比較して、マッチしていればアクションを起こすタイプの監視を... 続きを読む

新サービス『AWS CloudTrail』のユーザーガイドを読んでみた / ログファイルの取得とAmazon S3バケットへの集約 ｜ Developers.IO

2013/11/20 30 users 集約 Developers.IO AWS発表 記録 取得

新サービス『AWS CloudTrail』のユーザーガイドを読んでみた / ログファイルの取得とAmazon S3バケットへの集約 AWS CloudTrail ユーザーガイドAWS re:Invent 2013 AWS特集CloudTrailIAM Amazon Web Services ブログ: 【AWS発表】 AWS CloudTrail - AWS APIコールの記録を保存 What is... 続きを読む

ftp-adminの憂鬱: ログファイルの圧縮方法

2013/10/11 78 users ftp-admin ftp.jaist.ac.jp 圧縮

2013年10月11日金曜日 ログファイルの圧縮方法 Tweet 以前紹介したのですが、ftp.jaist.ac.jpのアクセスログの圧縮にはpbzip2を使っています。最初はgzipを使っていましたが、アクセス数の増加とともにログが大きくなって、ディスク容量を圧迫するようになってきたのでbzip2に切り替えました。 gzipとbzip2の圧縮率はアクセスログでは約2倍違います。たとえば、2013... 続きを読む

Vim scriptを取り巻く問題など存在しない (領土問題風に) — KaoriYa

2013/04/02 17 users KaoriYa Lua grep Vim script 反論

ログファイルをgrep head tail... Vim scriptを取り巻く問題など存在しない (領土問題風に) Author: MURAOKA Taro Date: 2013/04/02 Vim scriptの高速化手法について解説しときます。 Vim scriptを取り巻く問題について というエントリへの反論というか返答というか補足です。このエントリは極端に書くとこう言っています。 Lua... 続きを読む