あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合

2022/11/09 474 users CloudWatch Logs dev環境 本番 現実解 設定

本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすること… https://t.co/m8vo1QjrNj 続きを読む

「Fluentd実践入門」を10月8日に出版します - たごもりすメモ

2022/09/06 153 users りすメモ gihyo.jp tl;dr 唯一 現バージョン

Fluentd実践入門 Fluentdの現バージョン(v1.15)について世界で一番詳しい本です。というか、Fluentdそのものだけについての、おそらく世界で唯一の技術書です。 出版社は技術評論社です。電子版もGihyo.jpやKindleはじめ各社で出ます。買ってね! gihyo.jp TL;DR 発売日は10月8日です 一部書店ではちょっと早く9月末に並... 続きを読む

Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ

2022/07/08 20 users オートスケール クックパッド開発者ブログ

こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については... 続きを読む

Grafana + Loki + Fluentdで実装するSyslogサーバー

2020/12/27 37 users Grafana Prometheus ストリーム ログ集約

はじめに ログ集約・可視化・検索ツールとしてはELKスタックを利用するケースが多いが、これをLokiに置き換えることでより軽量にログを集約することができるようになる。 Grafana Lab社が開発したLokiは、ログのストリームに対してタグ付けし保存する仕組みを持つ。Prometheusと親和性がたかく、水平展開、高可用性、マ... 続きを読む

Dockerfileを書かずにBuildpacksで圧倒的に軽量なDockerイメージを作成する(539MB->245MB) - ?

2020/08/16 189 users Buildpacks Dockerfile Envoy

はじめに 2018 年 10 月に Cloud Native Buildpacks は Cloud Native Computing Foundation (CNCF)に Sandbox として受け入れられました。 CNCF には Kubernetes, Prometheus, Envoy, Fluentd など有名プロジェクトも多く受け入れられています。 Buildpacks を使うことで、Dockerfile を書かなくても Docker イメージを... 続きを読む

WindowsにFluentdをインストールしてS3にデータ転送して、管理用の設定も追加 - YOMON8.NET

2019/10/15 25 users td-agent 退避 ディレクトリ ファ Windows

WindowsにFluentdを入れる機会があったのでまとめておきます。 td-agent(Fluentd)インストール td-agentダウンロード td-agentインストール プラグインのインストール ディレクトリ 設定例 設定ファイルの退避 設定ファイル Append用 Update用 Monitor用 AWSクレデンシャル 起動してテスト テストデータ準備 append(ファ... 続きを読む

NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

2019/07/03 178 users Repro NLB SRE ファイルディスクリプタ 伊豆

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問... 続きを読む

DeNAからZOZOテクノロジーズに転職しました – そのっつ (Naotoshi Seo) – Medium

2019/01/04 431 users ZOZOテクノロジーズ medium コミッタ DeNA 瀬尾

2018年12月に株式会社DeNAを退職し、2019年01月に株式会社ZOZOテクノロジーズに入社しました。 誰？瀬尾と言います。インターネット上では sonots (そのっつ) というIDで活動しています。 著名どころでは CRuby, Fluentd, Chainer といったOSSのコミッタをしています。 DeNAには2012年10月に入社し、6年弱勤めたことにな... 続きを読む

DeNAからZOZOテクノロジーズに転職しました – そのっつ (Naotoshi Seo) – Medium

2019/01/03 431 users ZOZOテクノロジーズ medium コミッタ DeNA 瀬尾

2018年12月に株式会社DeNAを退職し、2019年01月に株式会社ZOZOテクノロジーズに入社しました。 誰？瀬尾と言います。インターネット上では sonots (そのっつ) というIDで活動しています。 著名どころでは CRuby, Fluentd, Chainer といったOSSのコミッタをしています。 DeNAには2012年10月に入社し、6年弱勤めたことにな... 続きを読む

Amazon CloudWatchのアラームをMackerelアラートにする仕組み - KAYAC engineers' blog

2018/10/02 30 users KAYAC engineers アラーム メトリクス 吉村

SREチームの吉村です。 弊社では主にAmazon Web Service（AWS）を使ってサービスを構築、運用しており、そのサービスの監視にMackerelを利用しています。 Amazon CloudWatchのメトリクスのうち主要なものはfluentd（fluent-plugin-cloudwatch、fluent-plugin-mackerel）を利用してMackerelに登録していますが、量が多く... 続きを読む

CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記

2018/06/06 95 users td-agent nginx hiboma パク プラグイン

2018 - 06 - 06 CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグイン で踏んだ際の調査内容を記してい... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users Kafka Spark ニコナレ データ分析基盤

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

v1.0がリリースされたログ収集のFluentdが目指す「黒子のような存在」とは？ | Think IT（シンクイット）

2018/02/14 54 users fluen CNCF マイルストーン Think 配下

Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluen... 続きを読む

fluent-logger-golang の実戦的な使いかたまとめ - 酒日記 はてな支店

2017/12/14 35 users logger github.com ドキュメント はてな支店

2017 - 12 - 14 fluent-logger-golang の実戦的な使いかたまとめ OSS紹介アドベントカレンダー の14日目の記事です。 Fluentd の 公式 Go 版 Logger である fluent-logger-golang はこのように使うのがよさそう、という使い方をまとめてみました。 元々社 内で書いておいたドキュメントを編集したものです。 github.com 前... 続きを読む

OSSのデータ収集ツール「Fluentd」に任意コマンド実行などの脆弱性（JVN） | ScanNetSecurity[国内最大級のサイバーセキュリティ専門ポータルサイト]

2017/12/11 50 users ScanNetSecurity CNCF オープ JVN 脅威

OSSのデータ収集ツール「Fluentd」に任意コマンド実行などの脆弱性（JVN） 脆弱性と脅威 セキュリティホール・脆弱性 2017年12月11日（月） 08時00分 独立行政法人 情報処理推進機構（IPA）および一般社団法人 JPCERT コーディネーションセンター（JPCERT/CC）は12月8日、Cloud Native Computing Foundation（CNCF）が提供するオープ... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users elasticsearch embulk Digdag 多く

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

fluentd の基礎知識 - あらびき日記

2017/10/23 884 users あらびき日記 ロク 収集 最初 トラブル

最近業務で fluentd を触ることが出てきたんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを... 続きを読む

NLBでfluentdのforwardパケットを分散させてみた - Qiita

2017/10/02 42 users NLB Qiita クラスメソッド AWS レポート

AWSの新しいロードバランサであるNLB(Network Load Balancer)を使ってfluentdのforwardパケットを分散してみたので、レポートをまとめておく。 NLB自体については、クラスメソッドのブログ等で紹介されているのでそちらを参照するのが分かり易い。 静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ 試してわかった N... 続きを読む

Ruby and Distributed Storage Systems

2017/09/20 19 users tagomoris Inc Treasure Data

Ruby and Distributed Storage Systems 1. Ruby for Distributed Storage Systems RubyKaigi 2017: Sep 20, 2017 Satoshi Tagomori (@tagomoris) Treasure Data, Inc. 2. Satoshi Tagomori (@tagomoris) Fluentd, Me... 続きを読む

Influent ベンチマーク - Part 3 #fluentd - おくみん公式ブログ

2017/05/30 13 users サーバ ベンチマーク 成果 性能 http

2017 - 05 - 31 Influent ベンチマーク - Part 3 #fluentd Fluentd Tweet Java 製 Fluentd サーバ、 Influent のベンチマーク第三弾です。 今回は Influent マルチスレッド化の成果と、Fluentd 0.14 で導入されたマルチプロセスワーカーの性能を計測しました。 テスト概要 http://blog.okumin.c... 続きを読む

CloudNativeCon Europe 2017に行ってきた＆しゃべってきた - たごもりすメモ

2017/04/04 38 users りすメモ CNCF CloudNativeCon 初エントリ

2017 - 04 - 04 CloudNativeCon Europe 2017に行ってきた＆しゃべってきた うぎゃあ、これ今年の初エントリなのか。なんてこった。 で、FluentdがめでたくCNCF (Cloud Native Computing Foundation)に加わって初めてのCloudNativeConなので、Treasure Dataの OSS チームで都合のつく人みんなで参加し... 続きを読む

オートスケール環境におけるFluentdのログ重複・欠損対策 - Qiita

2016/12/14 33 users Qiita デファクトスタンダード 欠損 重複 前提

この記事は Akatsuki Advent Calendar 2016 の15日目です。 はじめに 今やログ収集ソフトウェアのデファクトスタンダードとなったFluentdですが、オートスケール環境においては思わぬログの重複や欠損が発生する可能性があります。今回は私の所属するプロジェクトで行ったログ重複・欠損対策について紹介したいと思います。 前提 今回前提とするシステムは下図のような構成になってい... 続きを読む

Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

2016/06/01 353 users KINESIS エンジニア 上野 elasticsearch

こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、... 続きを読む

FluentdからAmazon Elasticsearch Serviceへログ転送する時の注意点 | 本日も乙

2016/01/07 42 users elasticsearch ログ転送 AWS側 動作環境 本日

昨年10月に Amazon Elasticsearch Service(Amazon ES) がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は以下の通りです。 Fluentd 0.10.58 fluent-plugin-elastics... 続きを読む

メールアドレスをマスクしてpostfixのログをfluentdに流す - so what

2015/12/30 21 users postfix td-agent Path Source ロク

2015 - 12 - 30 メールアドレスをマスクしてpostfixのログをfluentdに流す 前回の記事 の fluent-plugin-filter-parse-postfix はデフォルトでメールアドレスをマスクするようにしている。 <source> @type tail path /var/log/maillog pos_file /var/log/td-agent/postfix-m... 続きを読む