コマンド一発でウェブサイトのアクセスログをターミナルやウェブブラウザで可視化できる「GoAccess」レビュー - GIGAZINE

2020/06/13 137 users GIGAZINE トラッキングコード ウェブブラウザ 属性

ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - V... 続きを読む

時系列データに対する多様体学習について | ココン株式会社

2018/05/19 161 users 時系列データ ニューラルネットワーク エントリ 目次 背景

AI戦略室の坂本です。 今回のエントリはやや技術的な話をしようと思います。 『時系列データに対する多様体学習について』 少し専門的な内容になりますが、お付き合いください。 目次 背景 アクセスログを解析する ニューラルネットワークによる多様体学習 時系列データに対する多様体学習 背景 ココングループではセキュリティ関連の事業を展開しているのですが、セキュリティを考えるときには「いかにして攻撃を防ぐ... 続きを読む

EU: IPアドレスも個人情報とする新判断・承諾なしでのアクセスログの保管は違法に

2016/10/20 394 users 承諾 保管 IPアドレス 個人情報

続きを読む

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog

2016/08/03 295 users BigQuery ビルド マネーフォワード インフラ 村上

こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時... 続きを読む

LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記

2015/09/25 104 users LTSV tkuchiki サーバ GitHub バイナリ

2015-09-25 LTSV 形式の Web サーバのアクセスログを集計するツールを作りました go golang LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外で... 続きを読む

fluentdでつくる監視系 - Qiita

2015/04/25 203 users Qiita fluentd warn アプリケーションサーバ

いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上に... 続きを読む

WordPressで攻撃を受けやすいファイルとそのセキュリティー対策まとめ

2015/04/02 123 users WordPress 攻撃 ファイル xmlrpc.php 原因

上記の記事では、サイトがエラーになる原因はxmlrpc.php（ピンバックをしたり、アプリから投稿したりするファイル）であろうと、あたりをつけ、そのファイルに対して主に対策を行いました。 けれど、「実際にxmlrpc.phpへの対策でよかったのか？」「その他に攻撃されているファイルはなかったのか？」と気になったので、サーバーからアクセスログを取り寄せて、調べてみたらを多く攻撃を受けているPHPファ... 続きを読む

カニでもできるRailsでアクセスログ実装 - かにぱんのなく頃に

2014/12/14 122 users Rails config カニ User Agent ロク

2014-08-01 カニでもできるRailsでアクセスログ実装 こんにちはこんにちは Rails 4 でさくっとアクセスログ出そうと思ったけど、思ったよりさくっといかなかったので実装方法を残しておく ログの項目 これくらいの簡単な内容 時間 ユーザー名 リクエストURI USER AGENT 独自ログの設定 まず、Railsのログじゃなくて独自のログを出したかったので、 config/envir... 続きを読む

Rails4 + Fluentd + MySQL でランキング機能作ってみた - anti-good.

2014/10/13 313 users fluentd MySQL 集計 Rails4 みんな

2014-10-13 Rails4 + Fluentd + MySQL でランキング機能作ってみた そもそも 今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とは まず読み方は、 「ふるーえんとで... 続きを読む

ELBがアクセスログを出力できるようになりました！ ｜ Developers.IO

2014/03/07 142 users ELB Description Developers.IO

はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManag... 続きを読む

黒子のバスケ:４３億件接続記録から「容疑者は大阪周辺」 - 毎日新聞

2013/12/20 430 users 毎日新聞 バスケ 容疑者 大阪周辺 脅迫文

◇脅迫文送付先７０社のホームページを分析 人気漫画「黒子（くろこ）のバスケ」を巡る連続脅迫事件で、警視庁捜査１課が、脅迫文が送られたイベント会社など約７０社のホームページ（ＨＰ）の閲覧記録から容疑者が大阪周辺にいるのを割り出していたことが捜査関係者への取材で分かった。４３億件以上にのぼるアクセスログ（接続記録）を分析したところ、大阪市のネットカフェから何度もＨＰにアクセスした人物がいることを突き止... 続きを読む

サーバ用途でコンシューマ SSD へ調子に乗って書き込みすぎると壊れるという話 - mura日記 (halfrack)

2013/04/17 368 users halfrack syslog mura日記 石橋 サーバ用途

Crucial M500 の write endurance が 75TB しか無いというのが話題になっていて、同じく 75TB である m4 をわざと虐待していたホストはどうなったのか気になって調べて見たところ、面白い結果が観測されたという話。石橋を叩いて壊し障害時の挙動を見るべく「自社全サービスのアクセスログを受け止める syslog サーバ」という、どう見ても書き込み中心で SSD にやさし... 続きを読む

LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー

2013/02/09 460 users JSON httpd naoya LTSV TSV

LTSV って何?Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。仕様は http://ltsv.org にまとまっています。随時更新中です。LTSV は単なるログのフォーマットであって、それ以上で... 続きを読む

LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー

2013/02/05 271 users naoya fluentd GrowthForecast

ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。しかしあまり自由度のない acess_log の combined フォ... 続きを読む

ブログパーツやソーシャルボタンの類でアクセスログが残るのは当然だけどトラッキングされるのは当たり前にはなっていない - 最速転職研究会

2012/03/08 791 users ソーシャルボタン 最速転職研究会 ブログパーツ

16:56 | わたくしは立場上、実装がダメなことにはとやかく言いますがポリシーについてはとやかく言わないことをポリシーとしており、また個人的にも所属組織的にも付き合いがある企業様を痛烈に批判するというのはブーメランとか槍とか鉄砲玉とかソーシャルメディアガイドラインとか飛んできたりしてリスキーではあるのですが、どう見てもアウトだろこれ、と考えるに至りまして筆を取らせていただく次第です。これhttp... 続きを読む

Baidu（バイドゥ）のクローラーの驚くべき特徴 | モバイルSEOの勧め

2011/10/28 200 users baidu クローラー バイドゥ 結論 cookie

みなさんBaidu（バイドゥ）についてはどれくらい意識していますか？私は全く意識していませんでした。 この件があるまでは・・・ 結論から言うと Baiduクローラーに対してCookieをセットすると次のアクセスでそのCookie情報を送ってくる いやー驚きました。技術云々ではなく、クローラーの設計思想に。 次に示すのは問題のアクセスログです。（最後の項目がCookie情報です） ■最初にURLその... 続きを読む

ITに弱い上司や社長を納得させるアクセス解析サービス「Web Analyst」を使ってみた - GIGAZINE

2009/10/06 403 users GIGAZINE グラフ 致命傷 上司 意志決定

アクセスログをグラフや図で表示するアクセス解析ソフトやオンラインサービスはたくさん存在しますが、何十種類ものレポートを表示することができると、逆にどれが大事でどれがそうでないのかが判断しにくくなります。まして、IT系に詳しくない上司や経営者層を相手にするのであれば致命傷です。内容がいくら正しくても、意志決定を行う人が理解できないレポートは役に立ちません。 そこで使えるのが「社長がみてもわかる」をコ... 続きを読む

Geekなぺーじ : はてなブックマークを禁止する方法

2007/11/21 203 users Geek 愚痴 告白 権利 最初

念のため最初に書いておきますが、ブックマーク禁止やリンク禁止派ではありません。 純粋に技術的にどうするのだろうという興味で書いています。 「ある広告人の告白（あるいは愚痴かもね）: 推奨してるわけでは決してなくて、お嫌な人には拒否する権利があってもいいのかな、ということなんです。」を読んで、はてなブックマークを技術的に阻止するにはどうするのだろう？と疑問に思いました。 アクセスログを見ていると、は... 続きを読む

ITmedia Biz.ID：あやしいサイトにご用心――3つの“素性確認”サービス

2007/02/06 301 users ITmedia Biz.ID ご用心 素性 サービス ほか

ニュース 3分LifeHacking： あやしいサイトにご用心――3つの“素性確認”サービス 知らないサイトをブラウザでいきなり開くのは危険な行為だ。こうした場合、URLを入力するだけでサイトのドメイン情報のほか、評判や周辺情報といった“素性”を確認できるサービスを利用しよう。 2007年02月06日 21時36分 更新 ネット上で見つけたURL、メールアドレスの発信元、もしくはアクセスログで得ら... 続きを読む

Googleの検索語によるタグクラウド「Google Search Cloud」 - GIGAZINE

2006/10/21 176 users perl Apache GIGAZINE 検索フレーズ コード

Apacheのアクセスログから、自サイトへ到達した訪問者がGoogleなどで使った検索フレーズを、Perlを使ってタグクラウド風に表示するというもの。 自分のサイトがどのような検索語でよく訪問されているかがビジュアル的にわかりやすくなるのでなかなかおもしろい。 設置方法の詳細などは以下の通り。 Google Search Cloud 上記ページに書いてある1つめのコードを「gscloud.pl」と... 続きを読む