タグ「ログ収集」 - はてブログ

タグログ収集

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 30件)

モデリング施策を高速・安全に回せる、MLOpsの仕組みづくり

2021/11/08 8 users MLOps サイエンス統括本部機械学習エンジニア運用事例

こんにちは。サイエンス統括本部で機械学習エンジニアをしている芹沢です。ヤフー全社で使われているレコメンドプラットフォームを担当するプロジェクトに所属し、ログ収集・学習ジョブの開発/運用やMLOpsに関連する業務を行っています。本記事ではそのMLOps業務の中からモデリング業務の効率化の取り組み事例を紹介し... 続きを読む

Next.js の Error を丁寧に扱う

2021/09/12 11 users error component TSX pages ケース

Next.js には組み込みのエラーフォールバック機構が存在します。Unhandled Error を捉え、pages/404.tsx・pages/500.tsx・pages/_error.tsxの順に適した Component にフォールバックされます。実アプリケーションにおいてはこれだけでは不十分なケースが多く、きちんとハンドリングしログ収集に繋げるなどのエラー設計... 続きを読む

僕たちはどうマイクロサービスのログを収集するのか - Mercari Engineering Blog

2018/12/14 104 users 僕たち Mercari Engineering Blog

Mercari Advent Calendar 2018 の14日目はメルペイ DataPlatform チームの @syu_cream がお送りします。本記事では表題の通り、メルカリとメルペイにおける、マイクロサービスのログ収集に関する課題と取り組みについて記載します。メルカリとメルペイでは、現在クライアントアプリやサーバサイドのログを効率的に収集... 続きを読む

第545回　systemdのログ「ジャーナル」を見る・ためる：Ubuntu Weekly Recipe｜gihyo.jp … 技術評論社

2018/11/14 28 users systemd journald ジャーナルロク標準

systemd環境では標準のログ収集・格納サービスとしてsystemd-journald（以下，journald）が稼働しています。今回は，このjournaldについて解説します。ジャーナルを見る早速ですが，journaldがためたログ=「ジャーナル」を確認してみましょう。ジャーナルを確認するためにはjournalctlコマンドを使います。ずらっと，... 続きを読む

オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ

2018/05/30 214 users セキュリティクックパッド開発者ブログクックパッド水谷

2018 - 05 - 31 オフィス・AWS環境をセキュリティ監視するためのログ収集セキュリティインフラストラクチャー部セキュリティグループの水谷 ( @m_mizutani ) です。現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生す... 続きを読む

S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

2018/05/02 134 users ログファイルサーバーレスアプリケーションクックパッド

2018 - 05 - 02 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介インフラストラクチャー部セキュリティグループの水谷( @m_mizutani )です。クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に... 続きを読む

v1.0がリリースされたログ収集のFluentdが目指す「黒子のような存在」とは？ | Think IT（シンクイット）

2018/02/14 54 users fluentd fluen CNCF マイルストーン配下

Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluen... 続きを読む

Lambdaから別アカウントのLambdaを呼び出す｜ Developers.IO

2017/02/20 13 users Lambda Developers.IO 虎塚監視複数

こんにちは、虎塚です。システムのログ収集、監視、アラート通知、アクション実行などにAWS Lambdaを使っていると、 LambdaとLambdaをチェーンして使いたいことがあります。さらに、複数のアカウントで発生したイベントを1つのアカウントに集めるようなときには、 Lambdaから別のAWSアカウントのLambdaを呼び出したいこともあります。この記事では、AWS Lambdaから別ア... 続きを読む

ちょっとすごいロガーを買ってみた｜ Developers.IO

2016/01/26 27 users Developers.IO ロガーセンサ自前挨拶

車輪開発大好きおたいがです。こんにちは。( 挨拶 ) Tableau ビューのサンプルに使えそうなデータソースを自前で用意したいと思い、『ちょっとすごいロガー (NinjaScan-Light)( スイッチサイエンス版 ) 』 ( 以下「ロガー」 ) を購入したので、ログ収集までの導入手順をまとめておきます。機能商品の詳細ページに記載されていますが、ロガーには以下のセンサが搭載されています... 続きを読む

フリルのログ収集基盤について - inFablic

2015/12/25 27 users Fablic inFablic yutadayo フリル収集

2015 - 12 - 25 フリルのログ収集基盤についてエンジニアリングこの記事はFablic Advent Calendar 2015の25日目のエントリです。こんにちは、Fablicでサーバーサイドエンジニアをしている @yutadayo です。今回はフリルのアクセスログをどのように収集し、活用しているかを紹介します。ログ収集で実現したいことログ収集にあたり、以下のような実現したい... 続きを読む

DMMゲームのログ解析~ログ収集と解析の概要~ - dmmlabotech

2015/08/21 243 users KPI ロク DMMオンラインゲームバックエンド解析

2015-08-20 DMMゲームのログ解析~ログ収集と解析の概要~ 現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基... 続きを読む

「Fluentdをきっかけにビジネスが回る仕掛けがとっても気持ちイイです。」 | Think IT（シンクイット）

2015/07/17 66 users fluentd Think ＣＴＯシンクイット太田一樹氏

クラウドを活用したデータマネージメントサービスを展開するトレジャーデータのCTO、太田一樹氏にインタビューを行った。同社がメインで開発を進めるログ収集のためのオープンソースソフトウェア「Fluentd」とコアなビジネスモデルとの関係、トレジャーデータの狙っているユーザー層、更にはエンジニアの雇用から人工知能の可能性まで幅広いトピックに及んだ。まずはCTOとしての業務領域を教えてください。現在はC... 続きを読む

15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 - さくらのナレッジ

2014/11/25 189 users ナレッジさくら解析環境 15分

たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発さ... 続きを読む

『サーバ／インフラエンジニア養成読本ログ収集～可視化編』出版記念！執筆者が語る大講演会！レポート［パネルディスカッション編］：レポート｜gihyo.jp … 技術評論社

2014/11/11 99 users インフラエンジニア養成読本サーバ gihyo.jp 執筆者

レポート『サーバ／インフラエンジニア養成読本ログ収集～可視化編』出版記念！執筆者が語る大講演会！レポート［パネルディスカッション編］ 2014年11月11日高橋和道技術評論社書籍イベント, fluentd, elasticsearch, kibana, 可視化この記事を読むのに必要な時間：およそ 9 分 1 2 3 4 5 9月9日，シナジーカフェ GMO Yoursにて『サーバ／イン... 続きを読む

『サーバ／インフラエンジニア養成読本ログ収集～可視化編』出版記念！執筆者が語る大講演会！レポート［セッション編］：レポート｜gihyo.jp … 技術評論社

2014/10/08 34 users インフラエンジニア養成読本サーバ gihyo.jp 執筆者

レポート『サーバ／インフラエンジニア養成読本ログ収集～可視化編』出版記念！執筆者が語る大講演会！レポート［セッション編］ 2014年10月8日高橋和道技術評論社書籍イベント, fluentd, elasticsearch, kibana, 可視化この記事を読むのに必要な時間：およそ 4 分 1 2 9月9日，シナジーカフェ GMO Yoursにて『サーバ／インフラエンジニア養成読本ロ... 続きを読む

Fluentdのお勧めシステム構成パターンについて発表しました - Y-Ken Studio

2014/09/12 165 users fluentd Y-Ken Studio サーバノウハウ

2014-09-12 Fluentdのお勧めシステム構成パターンについて発表しました fluentd 2014年9月9日開催の『サーバ/インフラエンジニア養成読本ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！にてトークしてきました。今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせてい... 続きを読む

サービス改善はログデータ分析から

2014/09/09 257 users DMP Presentation Transcript

サービス改善はログデータ分析から Presentation Transcript サービス改善はログデータ解析から鈴木健太 @suzu_v 『サーバ/インフラエンジニア養成読本ログ収集～可視化編』出版イベント 2014/09/09 @ GMO Yours 自己紹介 • 鈴木健太, すずけん, @suzu_v • VOYAGE GROUPの子会社adingoにて、広告データの分析基盤(DMP... 続きを読む

『サーバ/インフラエンジニア養成読本ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！ - dots.

2014/08/29 12 users Dots インフラエンジニア養成読本サーバ出版記念執筆者

カンタン見つかる！点在している情報を集約。タグ検索にてカンタンに興味のある勉強会やイベントを探せます！あなたに届く！お気に入りタグ登録をすることでイベントの発見漏れがないようにメールでお知らせします！イベントに参加する！未来に繋がる勉強会やイベントに参加して、新たな知識、人脈、技術、情報を手に入れよう！続きを読む

「サーバ/インフラエンジニア養成読本ログ収集〜可視化編」を献本いただきました - インフラエンジニアway - Powered by HEARTBEATS

2014/08/11 76 users インフラエンジニアway インフラエンジニア養成読本献本

こんにちは。斎藤です。先週、「インフラエンジニア養成読本ログ収集〜可視化編」(以下、本書)を献本いただきました。どうもありがとうございます。せっかくですので、私自身の視点で、本書の紹介、刺さった所、及び感想を残しておこうかと思います。サーバ/インフラエンジニア養成読本ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)posted wit... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 68 users fluentd ToDo ログコレクタ Go ahead ロク

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く(TODO: 簡単なイメージ図を貼る)．「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い．ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るは... 続きを読む

Fluentdとログ収集のパターン - Go ahead!

2014/07/31 464 users fluentd ToDo ログコレクタ Go ahead ロク

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio

2014/07/28 225 users fluentd elasticsearch Kibana

2014-07-28 ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります fluentd elasticsearch 2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を... 続きを読む

書きました: サーバ/インフラエンジニア養成読本ログ収集~可視化編 - BLOG.harukasan

2014/07/18 85 users インフラエンジニア養成読本サーバ作者執筆現場主導

2014-07-18 書きました: サーバ/インフラエンジニア養成読本ログ収集~可視化編ということで、技術評論社から発売されるサーバ/インフラエンジニア養成読本ログ収集~可視化編の執筆に参加させて頂きました。来月の2014年8月8日発売になります。サーバ/インフラエンジニア養成読本ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者... 続きを読む

サーバ/インフラエンジニア養成読本ログ収集~可視化編を書きました - すずけんメモ

2014/07/17 74 users インフラエンジニア養成読本サーバすずけんメモ共著作者

2014-07-18 サーバ/インフラエンジニア養成読本ログ収集~可視化編を書きました技評さんでログ解析のムック本を共著で執筆させていただきました。サーバ/インフラエンジニア養成読本ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08... 続きを読む

Pinterest: 漏れなくログを拾うSectorをオープンソースで提供 - ワザノバ | wazanova

2014/04/30 20 users Kafka points Engineering ワザノバ

http://engineering.pinterest.com/post/84276775924/introducing-pinterest-secor 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Pinterestが課金フローのログ収集に使っているSectorをオープンソースで提供しました。Kafkaか... 続きを読む

(1 - 25 / 30件)

次の25件 »