タグ ログデータ
新着順 10 users 50 users 100 users 500 users 1000 usersPHPアプリのイベントをKibana3+Elasticsearch+Fluentdで解析するための勘所 | nanapi TechBlog
サーバーサイドアプリのイベントを Kibana3 で解析したい エンジニアのakiyanです。 ログ解析、してますか? 大量のログを超かっこよく可視化してくれる Kibana3 を最近知ったんですけど、すごいですよね。もう、エンジニアお手製のチマチマとした集計画面を作る気がしません。 参考:ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ (sl... 続きを読む
北海道と長野県にはゴキブリが少ないという検索的推察 ―地域検索の世界― - Yahoo!検索 スタッフブログ
いつものように検索のログデータを眺めていたら、 突然あることに気がつきました。 「もしかして、北海道と長野県にはゴキブリが(ほとんど)いない!?」 ***************** こんにちは、検索ランキングのイケミーです。 毎回少し変わった視点の検索分析コラムをお届けするこのはみだしコーナー、 今回のテーマは「地域検索」です。 インターネットを利用する際、各端末にはそれぞれ固有の住所のようなも... 続きを読む
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
2013-12-04 Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 fluentd ElasticSearch MySQL ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngや... 続きを読む
API gateway + lambda + S3でDDoS攻撃を受けて1日あたりで$3000溶かした話 - Qiita
qiita夏祭りに乗り遅れてしまったので一人後夜祭 ~2019年某日~ パイセン「それじゃあ、ワイ君は明日からフロントのログデータを飛ばすのにAPI gatewayとlambdaでS3に保存するようにしてな。木曜までな。その間に自分はサービンのドメイン取ったりRoute53周りの構築するから」 ワイ「これもcloud formationに書くんです?... 続きを読む
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Elasticsearch kibnana fluentd management tips Presentation Transcript 12th Nov, 2013 ElasticSearch+Kibanaでログデータの検索と 視覚化を実現するテクニックと運用ノウハウ Kentaro Yoshida in ElasticSearch Study #2 page 1 1. はじめに 2. 自己紹... 続きを読む
BigQueryにTwitterのタイムラインを入れる [Ruby] - 9mのブログ
Twitterのタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。かつてはテキストで、MongoDBやMySQLとかGroongaとかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えるとBigQueryが現代にマッチしてるようなのでそちらに移行した。 BigQueryにTLを保存するとできること TLの全て... 続きを読む
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 - Mercari Engineering Blog
2015-09-09 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り... 続きを読む
男女比,平均年齢,掛け持ち――ログデータから明かされるゲームアプリの姿。JOGA「オンラインゲーム・マーケティングセミナー」をレポート - 4Gamer.net
男女比,平均年齢,掛け持ち――ログデータから明かされるゲームアプリの姿。JOGA「オンラインゲーム・マーケティングセミナー」をレポート ライター:箭本進一 一般社団法人 日本オンラインゲーム協会(JOGA)は2018年6月26日,東京都内にて「オンラインゲーム・マーケティングセミナー」を開催した。ゲームビジネスに特... 続きを読む
ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと!
はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む
ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと!
はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む
ssig33.com - text/歴史から理解するプリズム事件
なぜ FBI なのか? プリズム事件は簡単に言うとアメリカ連邦捜査局(FBI)がアメリカ国家安全保障局(NSA)と協力し、複数の IT 企業の保有するログデータを収集していたという事件です。この事件の構造を理解するためには、アメリカの治安機関、情報機関の概要とその歴史を理解する必要がありますのでそれを簡単に解説します。 まず今回の事件の重要なポイントはアメリカ中央情報局(CIA)と NSA が仕組... 続きを読む
ホテルのカードキーを1分で偽造する方法を、15年かけて見つけた研究者の執念|WIRED.jp
SHARE STORY 2018.05.09 WED 19:00 ホテルのカードキーを1分で偽造する方法を、15年かけて見つけた研究者の執念 ホテルのドアがこじ開けられた形跡も、カードキーのログデータに記録もないのに、誰かが侵入してノートパソコンを持ち去った──。そんな手品のような窃盗事件の謎を解明しようとしていたセキュリティ研究者が、ホテルのカードキーの脆弱性を15年かけて発見した。全部屋の鍵を... 続きを読む
空間木を利用した関連事例の抽出技術 : Preferred Research
はじめまして伊藤です。1月から PFI で働いてます。 今回は関連事例の抽出技術についてお話しします。関連事例の抽出は推薦(レコメンド)サービス等で利用される技術です。ここで事例は扱う対象によって異なります。対象が文書集合であれば、事例は文書を表しますし、E-コマースサービスのログデータであれば、サービスを利用するユーザを表します。 関連事例の抽出技術はデータマイニング分野を含め多くの分野で盛んに... 続きを読む
なぜFluentdなどを使ってログデータ活用するのか? | Act as Professional - hiroki.jp by HIROCASTER
髪を切った@HIROCASTERでございませう。 今日は巷で話題のfluentd(フルーエントディー)を使って、アクセスログを活用するための準備をしたいと思います。 簡単にfluentdを使って何をするのか 例えばこんなこと という、知識や目的の準備です。 fluentd とは? Linuxサーバなどのログを集約するためのツールです。ログ形式は良くあるテキスト形式ではなく、JSON形式にて構造化さ... 続きを読む
TiDBによる大規模ログデータ管理の挑戦!シャーディングなしで大量インサートをさばくには? - LINE株式会社 - TiDB User Day 2023
TiDBによる大規模ログデータ管理の挑戦!シャーディングなしで大量インサートをさばくには? - LINE株式会社 - TiDB User Day 2023 イベント開催日:2023年7月7日 講演者:LINE株式会社 ITSC データベース室 MySQL 1チーム ソフトウェアエンジニア 大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDB... 続きを読む
ユーザの同意を得て Android ログデータを収集する Device Analyzer
Filed under: 携帯電話 iPhone における位置情報ログまわりの騒動はまだ記憶に新しいところですが、そもそもスマートフォンなどを使えばユーザからどのような情報を取得できるのか、取得した大量の情報はどのように活用できるのか、というのはまだまだ大いに検討の余地が残された課題です。iPhoneの例でいえば、アップルは位置情報を収集する理由を「より良い位置情報サービスを提供するため」と説明し... 続きを読む
Amazon Elasticsearch Service でペタバイト規模のクラスタを実行する | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon Elasticsearch Service でペタバイト規模のクラスタを実行する ログデータに Amazon Elasticsearch Service (Amazon ES) を使用するのは、あたかも強力な消火ホースから水を飲むようなもので、システムそのものの潜在力は絶大です。Elasticsearch と Kibana の知識が深まるにつれ、よ... 続きを読む
CloudWatch Logs Insightsで始める簡単!!ログ集計 - GA technologies Tech Blog
GA technologies SREチームの永冶です。 社内でログを集計した際にCloudWatch Logs Insightsが便利だと感じたので早速ブログにしました。 これからCloudWatch Logs Insightsを使用する方の助けになればと思います。 CloudWatch Logs Insightsとは CloudWatch Logsのログデータを分析する機能です。 専用のクエリ言語が用... 続きを読む
保険金目当ての自宅放火事件で容疑者の心臓ペースメーカーのログが調査される | スラド YRO
保険金目当てでの自宅への放火が疑われた米オハイオ州の男性に対し、心臓ペースメーカーのログデータを使った検証が行われたという。その結果、「自作自演」の疑いが高いという結論になったそうだ( Engadget Japanese 、 Washington Post 、 WLWT )。 この男性は、「自宅が燃えているのに気付いて服や所持品などをスーツケースやほかのバッグに入れて窓から放り投げ、その後自身も家... 続きを読む
はてなブログのログデータを買い取りたい!利用規約に抵触するかな?人類補完計画を目指して(^ω^)禁煙881日目・今日のはてブ。 - 団劇スデメキルヤ伝外超
2014-09-07 はてなブログのログデータを買い取りたい!利用規約に抵触するかな?人類補完計画を目指して(^ω^)禁煙881日目・今日のはてブ。 はてな アフィリエイト 日記 スポンサーリンク 今日のひとことはてなブログの寄稿者機能って、あまり使ってる人は知らないですが、原稿料とか出して、nanapiみたなことしたいですね。だけど、みんなが城(砂)を作れるのがブログの良さです。でも、今日もブロ... 続きを読む
【コラム】データドリブンなマーケティングオートメーションに関する特許 – コラムバックナンバー | アナリティクス アソシエーション
【コラム】データドリブンなマーケティングオートメーションに関する特許 Option合同会社 柳井 隆道 発信元:メールマガジン2019年9月18日号より 先日以下の情報処理装置に対する特許が取得されました。 一のユーザによるアプリケーションプログラムの利用履歴を示すログデータを取得するログデータ取得部と、 機械学習... 続きを読む
ドスパラ、MP3プレーヤーとFMラジオ付きのGPSデータロガー--音楽を聴きながら軌跡を記録 - CNET Japan
ドスパラは8月9日、直販サイト「上海問屋」において、MP3再生機能とFMチューナを搭載したGPSロガー「DN-10051」の販売を開始した。直販サイト価格は6999円。 DN-10051は、GPS衛星からの信号を受け取り、現在位置の記録を取ることができるGPSロガー。内蔵GPSチップには高感度、低電力で定評のある「SiRF Star III GPSチップ」を搭載している。ログデータをPCで取り込む... 続きを読む
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際... 続きを読む
ASCII.jp:バショー、IoT/ログなど時系列データ用NoSQL「Riak TS」
Bashoジャパンは11月20日、同社が開発する分散型NoSQLデータベース(DB)シリーズにおいて、IoTセンサーデータやログデータなど、大量の“時系列データ(タイムスタンプのあるデータ)”を読み書きする用途に適したNoSQL DB「Riak TS」を発表した。12月より国内販売を開始する。 Bashoジャパンは、米Basho Technologies(バショーテクノロジーズ)の日本法人。Bas... 続きを読む
バイドゥ、スマホ向け日本語IME「Simeji」のログ送信認める - 理由は"バグ" | マイナビニュース
日本語入力ソフト「Simeji」を提供するバイドゥは12月26日、同社が利用者に無断でログ情報などを送信しているとされる問題に対する見解を発表した。 同社によると、報道を受けて社内調査を行った結果、Simejiアプリはログセッションのデータ送信をオフにしていた場合でも一部のログデータを送信していた事実を確認したという。 ログセッションは、変換精度の向上を目的として同社は活用しているが、今年3月にリ... 続きを読む