コマンド一発でウェブサイトのアクセスログをターミナルやウェブブラウザで可視化できる「GoAccess」レビュー - GIGAZINE

2020/06/13 137 users GIGAZINE トラッキングコード ウェブブラウザ 属性

ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - V... 続きを読む

秒間数千件以上のアクセスログでも高速に集計し、可視化できる mackerel-plugin-axslog の紹介 - Hateburo: kazeburo hatenablog

2019/04/05 63 users Hateburo kazeburo mackerel 可視化

Mackerelアンバサダーになりました Mackerelアンバサダーになったので、グッズ頂いた。ありがとうございます pic.twitter.com/UzCmANa84O— Masahiro (@kazeburo) March 23, 2019 ということで、新しいmackerel-pluginの紹介です。 mackerel-plugin-axslog とは Mackerelの公式プラグインに mackerel-plugin-accesslog ... 続きを読む

JSON/YAMLで定義可能なHTTPモックサーバーMmockを触ってみる（セットアップ、シンプルなモックの定義、ブラウザでのアクセスログおよびモック定義一覧の確認まで） ｜ Developers.IO

2018/07/26 58 users JSON モック Developers.IO 定義 ブラウザ

外部サービスとの連携などのテストを行う際、テスト環境に制約があったり処理に時間がかかるなどの理由でHTTPモックサーバーが欲しくなることがあります。 本記事ではGo言語で書かれたHTTPモックサーバー、Mmockをご紹介 […] 続きを読む

nginx でアクセスログに記録される IP アドレスを匿名化する - えいのうにっき

2018/05/25 63 users GitHub nginx えいのうにっき アプローチ 匿名化

2018 - 05 - 25 nginx でアクセスログに記録される IP アドレスを匿名化する インフラ関連技術 「あ、 アクセスログ に記録される IPアドレス を匿名化したいな......」と思うこと、ありますよね。 私は昨日から思っています。 ちょっと探してみました。 見つかったアプローチ まず見つかったのが、 GitHub - masonicboom/ipscrub: IP addres... 続きを読む

時系列データに対する多様体学習について | ココン株式会社

2018/05/19 161 users 時系列データ ニューラルネットワーク エントリ 目次 背景

AI戦略室の坂本です。 今回のエントリはやや技術的な話をしようと思います。 『時系列データに対する多様体学習について』 少し専門的な内容になりますが、お付き合いください。 目次 背景 アクセスログを解析する ニューラルネットワークによる多様体学習 時系列データに対する多様体学習 背景 ココングループではセキュリティ関連の事業を展開しているのですが、セキュリティを考えるときには「いかにして攻撃を防ぐ... 続きを読む

ELBとCloudFrontのアクセスログをサーバレスに集約させてみた ｜ Developers.IO

2018/05/17 52 users サーバレス CloudFront ELB

Lambda処理内容 SNSのメッセージから、処理対象となるS3のバケット、キーを取得します。 ログの時刻情報として期待するカラムのデータが日付フォーマットに一致しない場合や、カラム数が異常なレコードはエラーレコードとして除外します。 「request」カラムに含まれるURLを「urlparse」モジュールを利用してパースし、解析時に利用頻度の高い「HOST」や「PATH」を事前に抽出します。 「... 続きを読む

財務省は「森友文書」の真相が一発で分かる方法をなぜ使わないのか（佃 均） | 現代ビジネス | 講談社（1/3）

2018/03/21 60 users 森友文書 真相 佃 均 財務省 講談社

みんな「紙の書類」ばかり見ているが… 財務省が国有地を森友学園に払い下げた際の決裁文書を改ざんするという、あるまじき事件が発覚した。 裏事情や政局への影響は新聞や専門家、テレビのワイドショーに任せるとして、官公庁の情報システムのアレコレを取材してきた筆者が真っ先に抱いた疑問は、 「財務省は、公文書のアクセスログやタイムスタンプをどのように管理しているのか？」 「そもそもデータ改ざんが不可能なシステ... 続きを読む

NginxのアクセスログをJSON形式で出力する - Qiita

2018/03/18 70 users nginx Qiita JSON形式

http { : log_format json escape=json ' { "time": " $time_iso8601 ",' '"host": " $remote_addr ",' '"vhost": " $host ",' '"user": " $remote_user ",' '"status": " $status ",' '"protocol": " $server_proto... 続きを読む

データの可視化に使えるD3.jsでユーザーのページ遷移を表現してみた | PLAID engineer blog

2017/03/08 83 users PLAID engineer blog ページ遷移 可視化

D3.jsを使ってユーザーがサイト内の各ページを遷移している様子をアクセスログから可視化してみました。こんにちは、プレイドの@wikrshです。 弊社の KARTE では属性データやサイト上での行動情報など様々なデータを元に来訪したユーザーの状況をリアルタイムに可視化しており、どのような情報の見せ方をすればよりユーザーへの理解を深められるのか、社内では日々議論・改良を重ねています。 今回は現在KA... 続きを読む

EU: IPアドレスも個人情報とする新判断・承諾なしでのアクセスログの保管は違法に

2016/10/20 394 users 承諾 保管 IPアドレス 個人情報

続きを読む

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog

2016/08/03 295 users BigQuery ビルド マネーフォワード インフラ 村上

こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時... 続きを読む

fluent-agent-hydraで省エネログ転送 - Mercari Engineering Blog

2015/12/15 74 users cubicdaiya メルカリ アプリケーション固有 Go製

2015 - 12 - 15 fluent-agent-hydraで省エネログ転送 Site Reliability Engineering Teamの @cubicdaiya です。 今回はGo製のログ転送エージェントである fluent-agent-hydra とメルカリでの利用事例について紹介します。 メルカリとFluentd メルカリではAPIサーバのアクセスログやアプリケーション固有のロ... 続きを読む

Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 - TAKUMI SAKAMOTO’S BLOG

2015/10/10 60 users fluentd Datadog エラーログ nginx 木曜

Datadog というシステム監視 SaaS のネタです。先週の木曜に「Datadog でカスタムメトリクス送るの面倒じゃない？どうやってるの？」とある人に質問されたので、 自分が知ってる Dogstatsd を使う方法をシェアします。 これはあるサービスの Nginx のアクセスログとエラーログを、 Fluentd 経由で Datadog にカスタムメトリクスとして送って可視化した例になっていて... 続きを読む

LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記

2015/09/25 104 users LTSV tkuchiki サーバ GitHub バイナリ

2015-09-25 LTSV 形式の Web サーバのアクセスログを集計するツールを作りました go golang LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外で... 続きを読む

fluentdでつくる監視系 - Qiita

2015/04/25 203 users Qiita fluentd warn アプリケーションサーバ

いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上に... 続きを読む

WordPressで攻撃を受けやすいファイルとそのセキュリティー対策まとめ

2015/04/02 123 users WordPress 攻撃 ファイル xmlrpc.php 原因

上記の記事では、サイトがエラーになる原因はxmlrpc.php（ピンバックをしたり、アプリから投稿したりするファイル）であろうと、あたりをつけ、そのファイルに対して主に対策を行いました。 けれど、「実際にxmlrpc.phpへの対策でよかったのか？」「その他に攻撃されているファイルはなかったのか？」と気になったので、サーバーからアクセスログを取り寄せて、調べてみたらを多く攻撃を受けているPHPファ... 続きを読む

カニでもできるRailsでアクセスログ実装 - かにぱんのなく頃に

2014/12/14 122 users Rails config カニ User Agent ロク

2014-08-01 カニでもできるRailsでアクセスログ実装 こんにちはこんにちは Rails 4 でさくっとアクセスログ出そうと思ったけど、思ったよりさくっといかなかったので実装方法を残しておく ログの項目 これくらいの簡単な内容 時間 ユーザー名 リクエストURI USER AGENT 独自ログの設定 まず、Railsのログじゃなくて独自のログを出したかったので、 config/envir... 続きを読む

Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ

2014/12/06 82 users fluentd Norikra Cool nginx nGI

2014-12-07 Fluentd と Norikra をもっとカジュアルに使おう Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Ngi... 続きを読む

SEOの効果はどう測る？ まずはGoogleアナリティクスを設定しよう | ネットショップ担当者フォーラム

2014/10/29 75 users SEO Googleアナリティクス 施策 効果 順位

今回から3回に渡ってSEOに欠かせない3つのツールを解説します。（連載第5回） 概念的な説明の長いこの連載ですが（笑）、そろそろ施策の説明に入っていこうと思います。その前に！ いくつか準備しておくことがあります。ネットショップを運営する皆さんはSEOの効果をどうやって測っていますか？ 「 順位が成果だ」という方もいるかもしれませんが、SEOの効果は順位だけでは不十分です。必ずアクセスログを見て「何... 続きを読む

Google BigQueryを使ってみた！

2014/10/24 55 users Google BigQuery Yusuke Wada

Google BigQueryを使ってみた！ Presentation Transcript 1. Google BigQueryを つかってみた！ PerlCasual#06 2014/10/24 Yusuke Wada a.k.a. yusukebe 2. 2つの問題意識 3. 1. 開発サイドから • 例えばアクセスログが膨らんで活用できない 1.サイズが大きい 2.分散されている 3.量が... 続きを読む

Rails4 + Fluentd + MySQL でランキング機能作ってみた - anti-good.

2014/10/13 313 users fluentd MySQL 集計 Rails4 みんな

2014-10-13 Rails4 + Fluentd + MySQL でランキング機能作ってみた そもそも 今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とは まず読み方は、 「ふるーえんとで... 続きを読む

WordPressが重くてサーバが落ちる件、ブルートフォースアタック対策で正常化

2014/09/18 70 users Apache 契機 xmlrpc.php サーバ 応答

スパイク状のアクセスでサーバが落ちるように 先月に入ってからたびたびサーバが応答なしの状態に陥るようになって、本ブログが利用するさくらVPSのステータスを確認したところ、たびたびスパイク状のアクセスがあり、それを契機に応答なしになっていることが分かりました。 Apacheのアクセスログを見ると、WordPressのxmlrpc.phpにアクセスが集中していて、攻撃であることが判明。 $ tail ... 続きを読む

ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する ｜ Developers.IO

2014/03/12 59 users elasticsearch Kibana ELB 通り

はじめに 先日お伝えしました通り、ELBのアクセスログが取得出来るようになったのですが、すぐさまfluent-plugin-elb-logというfluentプラグインがリリースされました。さすがfluentd界隈、対応が早いです。 ということで、今回はELBのアクセスログをfluentd経由でElasticsearchに取り込み、それをKibanaで表示したいと思います！ セットアップ Elast... 続きを読む

ELBがアクセスログを出力できるようになりました！ ｜ Developers.IO

2014/03/07 142 users ELB Description Developers.IO

はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManag... 続きを読む

黒子のバスケ:４３億件接続記録から「容疑者は大阪周辺」 - 毎日新聞

2013/12/20 430 users 毎日新聞 バスケ 容疑者 大阪周辺 脅迫文

◇脅迫文送付先７０社のホームページを分析 人気漫画「黒子（くろこ）のバスケ」を巡る連続脅迫事件で、警視庁捜査１課が、脅迫文が送られたイベント会社など約７０社のホームページ（ＨＰ）の閲覧記録から容疑者が大阪周辺にいるのを割り出していたことが捜査関係者への取材で分かった。４３億件以上にのぼるアクセスログ（接続記録）を分析したところ、大阪市のネットカフェから何度もＨＰにアクセスした人物がいることを突き止... 続きを読む