マルチテナントなk8sクラスタで構築するログ収集基盤、システムの信頼性向上のために取り組んだ施策 - LINE ENGINEERING

2022/03/14 15 users 施策 マルチテナント LINE Engineering

By LINE Engineering | 2022.01.27 2022.02.10LINE Engineering Blog official account 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかっ... 続きを読む

OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話 - ZOZO Technologies TECH BLOG

2021/04/12 15 users Sub ZOZOTOWN OSS Cloud Pub SRE部

こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSであるfluent-plugin-gcloud-pubsub-customにコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例... 続きを読む

フリルのログ収集基盤について - inFablic

2015/12/25 27 users Fablic inFablic yutadayo フリル 収集

2015 - 12 - 25 フリルのログ収集基盤について エンジニアリング この記事はFablic Advent Calendar 2015の25日目のエントリです。 こんにちは、Fablicでサーバーサイドエンジニアをしている @yutadayo です。今回はフリルのアクセスログをどのように収集し、活用しているかを紹介します。 ログ収集で実現したいこと ログ収集にあたり、以下のような実現したい... 続きを読む

fluentdを使ってS3へログを送る - サーバーワークス エンジニアブログ

2013/06/27 77 users fluentd td-agent リポジトリ 宮澤 ロク

テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __|... 続きを読む

Fluentdで始めるリアルタイムでのログ有効活用 （1/4）：CodeZine

2013/02/14 398 users JSON CodeZine fluentd もじ インプット

ログ収集基盤としてFluentdの知名度が向上するとともに、大規模Webサービス提供会社による使用事例も多く出てきました。本記事では、Flunetdとは何か、どのように使用するかを紹介していきます。 はじめに　Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジ... 続きを読む