あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合

2022/11/09 474 users CloudWatch Logs dev環境 本番 現実解 設定

本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすること… https://t.co/m8vo1QjrNj 続きを読む

「Fluentd実践入門」を10月8日に出版します - たごもりすメモ

2022/09/06 153 users りすメモ gihyo.jp tl;dr 唯一 現バージョン

Fluentd実践入門 Fluentdの現バージョン(v1.15)について世界で一番詳しい本です。というか、Fluentdそのものだけについての、おそらく世界で唯一の技術書です。 出版社は技術評論社です。電子版もGihyo.jpやKindleはじめ各社で出ます。買ってね! gihyo.jp TL;DR 発売日は10月8日です 一部書店ではちょっと早く9月末に並... 続きを読む

Dockerfileを書かずにBuildpacksで圧倒的に軽量なDockerイメージを作成する(539MB->245MB) - ?

2020/08/16 189 users Buildpacks Dockerfile Envoy

はじめに 2018 年 10 月に Cloud Native Buildpacks は Cloud Native Computing Foundation (CNCF)に Sandbox として受け入れられました。 CNCF には Kubernetes, Prometheus, Envoy, Fluentd など有名プロジェクトも多く受け入れられています。 Buildpacks を使うことで、Dockerfile を書かなくても Docker イメージを... 続きを読む

NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

2019/07/03 178 users Repro NLB SRE ファイルディスクリプタ 伊豆

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問... 続きを読む

DeNAからZOZOテクノロジーズに転職しました – そのっつ (Naotoshi Seo) – Medium

2019/01/04 431 users ZOZOテクノロジーズ medium コミッタ DeNA 瀬尾

2018年12月に株式会社DeNAを退職し、2019年01月に株式会社ZOZOテクノロジーズに入社しました。 誰？瀬尾と言います。インターネット上では sonots (そのっつ) というIDで活動しています。 著名どころでは CRuby, Fluentd, Chainer といったOSSのコミッタをしています。 DeNAには2012年10月に入社し、6年弱勤めたことにな... 続きを読む

DeNAからZOZOテクノロジーズに転職しました – そのっつ (Naotoshi Seo) – Medium

2019/01/03 431 users ZOZOテクノロジーズ medium コミッタ DeNA 瀬尾

2018年12月に株式会社DeNAを退職し、2019年01月に株式会社ZOZOテクノロジーズに入社しました。 誰？瀬尾と言います。インターネット上では sonots (そのっつ) というIDで活動しています。 著名どころでは CRuby, Fluentd, Chainer といったOSSのコミッタをしています。 DeNAには2012年10月に入社し、6年弱勤めたことにな... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users elasticsearch embulk Digdag 多く

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

fluentd の基礎知識 - あらびき日記

2017/10/23 884 users あらびき日記 ロク 収集 最初 トラブル

最近業務で fluentd を触ることが出てきたんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを... 続きを読む

Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

2016/06/01 353 users KINESIS エンジニア 上野 elasticsearch

こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users Kafka KINESIS セキュリティグループ SaaS

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 - Mercari Engineering Blog

2015/09/09 146 users BigQuery cubicdaiya ログデータ タスク

2015-09-09 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り... 続きを読む

Docker 1.8 に Fluentd logging driver が入りました - たごもりすメモ

2015/08/20 101 users Docker Toolbox りすメモ

2015-08-20 Docker 1.8 に Fluentd logging driver が入りました 以前に書いた話の続きなんだけど、Docker 1.8が出た。Announcing Docker 1.8: Content Trust, Toolbox, and Updates to Registry and Orchestrationblog.docker.comで、それに Fluentd... 続きを読む

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ - ようへいの日々精進XP

2015/08/11 104 users ようへい Docker 心待ち 日々精進XP メモ

2015-08-11 Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ Docker fluentd 触ってみた はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。... 続きを読む

Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 | NET BIZ DIV. TECH BLOG

2015/07/08 319 users Docker Terraform Puree NET BIZ

こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 “モバイル行動ログ収集基盤” を “小さく” 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 ユーザの分析によく使われるツ... 続きを読む

fluentdでログが欠損する可能性を考える - sonots:blog

2015/07/07 344 users TCP sonots out_forward 前提 実験例

out_forward => in_forward の通信においてログが欠損する可能性を考える。 前提としてまともに動いている分にはまず欠損しないはず。TCPだし。=> 実験例あり 続きを読む

fluentdによる大規模キュー設計 // Speaker Deck

2015/06/01 112 users Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

fluentdで本番環境を再現する - Qiita

2015/05/20 144 users Qiita 本番環境

toyama0919/fluent-plugin-http_shadowというShadow Proxyっぽいことを簡単にやるプラグインを作りました。 production環境で半年くらい動かしてたのでメモしときます。 Shadow Proxyサーバとは Shadow Proxyサーバについては以下がわかりやすいです。 気軽なMySQLバージョンアップ - まめ畑 Go言語を含む複数種類の言語により... 続きを読む

Go言語でプラグイン機構をつくる | SOTA

2015/04/28 159 users Sota クロスコンパイル Go言語 バイナリ プラグイン機構

dullgiulio/pingo Go言語でプラグイン機構を提供するかは実装者の好みによると思う（cf. fluentd の go 実装におけるプラグイン構想）．Go言語はクロスコンパイルも含めビルドは楽なのでプラグインを含めて再ビルドでも良いと思う．が，使う人がみなGo言語の環境を準備しているとも限らないし，使い始めてもらう障壁はなるべく下げたい．プラグインのバイナリだけを持ってこればすぐに使え... 続きを読む

fluentdでつくる監視系 - Qiita

2015/04/25 203 users Qiita warn アプリケーションサーバ エラーログ 前提

いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上に... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users cons Pros エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

Fluentdの現実装のPros/Cons - Go ahead!

2015/04/13 165 users cons Pros エラーハンドリング データストリーム 内部

TODO: 必要なら図を足す 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forw... 続きを読む

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 － Publickey

2015/01/27 242 users Publickey embulk コミッター 古橋貞之氏 支援

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、... 続きを読む

fluentdを利用してsshログインを通知する - さよならインターネット

2014/12/12 101 users syslog secure SSH Slack パーミッション

sshを利用していると招かれざる客の来訪が多い。 また、サーバに不必要にログインしている関係者がいないか 把握しつづけるのも難しい。 今回はfluentdを利用して簡単にログイン周りの通知をSlackに流してみる。 準備 /var/log/secureはパーミッションが厳しいので y-kenさんのブログを参考にパーミッションを変更する必要があります。 Fluentdでsyslogを取り込むための権... 続きを読む

Wikipedia の作り方 - *iroi*

2014/12/10 308 users iroi アプリケーションエンジニア mackerel 状態

2014-12-10 Wikipedia の作り方 こんにちは。アプリケーションエンジニアの id:mechairoi です。 この記事は はてなエンジニアアドベントカレンダー2014 の10日目です。 昨日は id:hatz48 さんの Mackerel と fluentd でサービスの状態を可視化する - Hatena Developer Blog でした。 今日は Wikipedia の作り... 続きを読む

Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用 - Qiita

2014/11/25 208 users Qiita Kubernetes goo Google 皆さん

Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用fluentd(209)GoogleCloudPlatform(55)googlecomputeengine(31)kubernetes(11)kazunori279が2014/11/25に投稿編集リクエストを作成する まずはFluentdコミュニティの皆さん、おめでとうございます！！！ Goo... 続きを読む