僕たちはどうマイクロサービスのログを収集するのか - Mercari Engineering Blog

2018/12/14 104 users 僕たち Mercari Engineering Blog

Mercari Advent Calendar 2018 の14日目はメルペイ DataPlatform チームの @syu_cream がお送りします。 本記事では表題の通り、メルカリとメルペイにおける、マイクロサービスのログ収集に関する課題と取り組みについて記載します。 メルカリとメルペイでは、現在クライアントアプリやサーバサイドのログを効率的に収集... 続きを読む

オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ

2018/05/30 214 users セキュリティ クックパッド開発者ブログ クックパッド 水谷

2018 - 05 - 31 オフィス・AWS環境をセキュリティ監視するためのログ収集 セキュリティ インフラストラクチャー部セキュリティグループの水谷 ( @m_mizutani ) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前から やってきた のですが、ここしばらくはそれ以外のインフラやオフィスで発生す... 続きを読む

S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

2018/05/02 134 users ログファイル サーバーレスアプリケーション クックパッド

2018 - 05 - 02 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 インフラストラクチャー部セキュリティグループの水谷( @m_mizutani )です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に... 続きを読む

v1.0がリリースされたログ収集のFluentdが目指す「黒子のような存在」とは？ | Think IT（シンクイット）

2018/02/14 54 users fluentd fluen CNCF マイルストーン 配下

Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluen... 続きを読む

DMMゲームのログ解析~ログ収集と解析の概要~ - dmmlabotech

2015/08/21 243 users KPI ロク DMMオンラインゲーム バックエンド 解析

2015-08-20 DMMゲームのログ解析~ログ収集と解析の概要~ 現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基... 続きを読む

「Fluentdをきっかけにビジネスが回る仕掛けがとっても気持ちイイです。」 | Think IT（シンクイット）

2015/07/17 66 users fluentd Think ＣＴＯ シンクイット 太田一樹氏

クラウドを活用したデータマネージメントサービスを展開するトレジャーデータのCTO、太田一樹氏にインタビューを行った。同社がメインで開発を進めるログ収集のためのオープンソースソフトウェア「Fluentd」とコアなビジネスモデルとの関係、トレジャーデータの狙っているユーザー層、更にはエンジニアの雇用から人工知能の可能性まで幅広いトピックに及んだ。まずはCTOとしての業務領域を教えてください。 現在はC... 続きを読む

15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 - さくらのナレッジ

2014/11/25 189 users ナレッジ さくら 解析環境 15分

たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発さ... 続きを読む

『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［パネルディスカッション編］：レポート｜gihyo.jp … 技術評論社

2014/11/11 99 users インフラエンジニア養成読本 サーバ gihyo.jp 執筆者

レポート 『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［パネルディスカッション編］ 2014年11月11日 高橋和道 技術評論社書籍イベント, fluentd, elasticsearch, kibana, 可視化 この記事を読むのに必要な時間：およそ 9 分 1 2 3 4 5 9月9日，シナジーカフェ GMO Yoursにて『サーバ／イン... 続きを読む

Fluentdのお勧めシステム構成パターンについて発表しました - Y-Ken Studio

2014/09/12 165 users fluentd Y-Ken Studio サーバ ノウハウ

2014-09-12 Fluentdのお勧めシステム構成パターンについて発表しました fluentd 2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！にてトークしてきました。 今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせてい... 続きを読む

サービス改善はログデータ分析から

2014/09/09 257 users DMP Presentation Transcript

サービス改善はログデータ分析から Presentation Transcript サービス改善は ログデータ解析から 鈴木健太 @suzu_v 『サーバ/インフラエンジニア養成読本 ログ収集～可視化編』出版イベント 2014/09/09 @ GMO Yours 自己紹介 • 鈴木健太, すずけん, @suzu_v • VOYAGE GROUPの子会社adingoにて、広告データの分析基 盤(DMP... 続きを読む

「サーバ/インフラエンジニア養成読本 ログ収集〜可視化編」を献本いただきました - インフラエンジニアway - Powered by HEARTBEATS

2014/08/11 76 users インフラエンジニアway インフラエンジニア養成読本 献本

こんにちは。斎藤です。 先週、「インフラエンジニア養成読本 ログ収集〜可視化編」(以下、本書)を献本いただきました。どうもありがとうございます。 せっかくですので、私自身の視点で、本書の紹介、刺さった所、及び感想を残しておこうかと思います。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)posted wit... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 68 users fluentd ToDo ログコレクタ Go ahead ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 464 users fluentd ToDo ログコレクタ Go ahead ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio

2014/07/28 225 users fluentd elasticsearch Kibana

2014-07-28 ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります fluentd elasticsearch 2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を... 続きを読む

書きました: サーバ/インフラエンジニア養成読本 ログ収集~可視化編 - BLOG.harukasan

2014/07/18 85 users インフラエンジニア養成読本 サーバ 作者 執筆 現場主導

2014-07-18 書きました: サーバ/インフラエンジニア養成読本 ログ収集~可視化編 ということで、技術評論社から発売されるサーバ/インフラエンジニア養成読本 ログ収集~可視化編の執筆に参加させて頂きました。 来月の2014年8月8日発売になります。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者... 続きを読む

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ

2014/07/17 74 users インフラエンジニア養成読本 サーバ すずけんメモ 共著 作者

2014-07-18 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました 技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08... 続きを読む

Clojureによるログ収集と解析

2014/01/25 76 users Clojure 昨今 解析 勝負 ロク

Clojureによるログ収集と解析 Presentation Transcript Clojureによる Clojureによる ログ収集と解析 kawasima Collecting Logs 2 昨今の不正アクセスの増加 パスワードが漏れてしまった状態なので、システム 的に防ぐのは難しい。 不正アクセスをいかに 速く検知するかが勝負 3 ログの収集 よく使われているのはこの２種類 Apache ... 続きを読む

柔軟なログ収集を可能にする「fluentd」入門 - さくらのナレッジ

2013/12/09 628 users fluentd ナレッジ アーキテクチャ サーバー 入門

複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ... 続きを読む

DeployGate - 開発中のアプリの配布を、びっくりするぐらい簡単に

2012/09/10 491 users DeployGate ワイヤレス USBケーブル 端末 ロク

DeployGate は、開発途中のスマートフォンアプリの実機確認をワイヤレスで実現する、アプリ開発関係者向けサービスです。開発中のアプリの配布を びっくりするぐらい、簡単に。 USBケーブルにさようなら。配布、ログ収集、アップデート、 すべてをワイヤレス、リアルタイムで。 無料で新規登録！ ワイヤレスで、USB不要 アプリの配信、ログの収集、アプリの更新、すべてがワイヤレスに。たくさんの端末を手... 続きを読む