なぜ DuckDB を採用したのか

2024/11/17 148 users DuckDB DuckDB-Wasm http 中小規模 経由

概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS ... 続きを読む

ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 － Publickey

2021/08/09 133 users クライアントライブラリ Elastic Publickey

ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 オープンソースの検索エンジンElasticsearchは、ログ解析による運用監視やセキュリティインシデントの発見、データ分析などに使われている人気のソフトウェアです。 その開発元であるElasticは、E... 続きを読む

DMMゲームのログ解析~ログ収集と解析の概要~ - dmmlabotech

2015/08/21 243 users KPI ロク DMMオンラインゲーム バックエンド 解析

2015-08-20 DMMゲームのログ解析~ログ収集と解析の概要~ 現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基... 続きを読む

grepでログ解析をするなんてひどい話だ | インフラ・ミドルウェア | POSTD

2015/05/20 457 users POSTD grep インフラ・ミドルウェア ひどい話

複数のサーバにまたがる大量のテキストログをgrepするなんてひどい話です。正規表現で解決できるという話ではありません。ログの保存をバイナリにすることで、よりスケールされたシステムにも対応でき、読みやすいクエリで検索できるようになります。今でも、systemdのjournalにおけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者... 続きを読む

ログ解析にNorikraを使ってみた - hase log

2014/12/17 148 users Norikra Advent Calendar 弊社 一部

2014-12-16 ログ解析にNorikraを使ってみた Norikra この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告でした。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。@kakerukaeruさんにやろうぜ！って誘わ... 続きを読む

Webサーバのログをリアルタイムで解析、監視できる『GoAccess』コマンド | 俺的備忘録 〜なんかいろいろ〜

2014/09/14 260 users tar 備忘録 コマンド リアルタイム 解析

今回は、Webサーバのログ解析をリアルタイムで行えるコマンド『GoAccess』を紹介する。 1.インストール まずはコマンドのインストールから。 以下のコマンドを実行する。 ●ソースコードからmakeする場合 $ wget http://tar.goaccess.io/goaccess-0.8.4.tar.gz $ tar -xzvf goaccess-0.8.4.tar.gz $ cd goa... 続きを読む

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio

2014/07/28 225 users fluentd elasticsearch Kibana

2014-07-28 ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります fluentd elasticsearch 2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を... 続きを読む

FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita

2014/05/27 130 users Qiita fluentd 虎の子 BigQuery クエリ

Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google B... 続きを読む

elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ - Y-Ken Studio

2014/04/04 334 users elasticsearch Y-Ken Studio 注目

2014-04-04 elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ elasticsearch LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目... 続きを読む

fluentd + Elasticsearch + Kibanaで始めるログ解析 (セットアップ編) | eXcale | Blog

2014/02/26 225 users fluentd elasticsearch Kibana

eXcale開発チームの平栗です。 今回は、最近話題のfluentdとElasticsearch、Kibanaを使ったログ解析と可視化についてご紹介します。 eXcaleでもfluentdとElasticsearch、Kibanaを使って、日々発生する膨大なログの解析を行っています。 本記事では、ElasticsearchとKibanaのセットアップ、そしてfluentdを使ってElasticse... 続きを読む

PHPアプリのイベントをKibana3+Elasticsearch+Fluentdで解析するための勘所 | nanapi TechBlog

2014/01/15 7777 users nanapi TechBlog PHPアプリ akiyan

サーバーサイドアプリのイベントを Kibana3 で解析したい エンジニアのakiyanです。 ログ解析、してますか？ 大量のログを超かっこよく可視化してくれる Kibana3 を最近知ったんですけど、すごいですよね。もう、エンジニアお手製のチマチマとした集計画面を作る気がしません。 参考：ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ (sl... 続きを読む

エンジニアの総意でMongoDBを採用――メール配信システム「Cuenote FC」11年の歩みを振り返る - はてなブックマークニュース

2013/10/10 263 users MongoDB 総意 ユミルリンク エンジニア 採用

メール配信システム「Cuenote」シリーズを開発・提供するユミルリンクでは、独自のメール配信システムを開発した2002年以降、メール配信のノウハウを継続して蓄積してきた。メール配信システムに対する要求は時代と共に変化している。携帯電話のキャリアメールへの対応、多様なログ解析、そしてスマートフォン対応。メール配信システムの最新技術動向や、それを取り巻く環境の変化について、同社のエンジニアたちに聞い... 続きを読む

Kibana + ElasticSearch + fluentd を試してみた - jedipunkz' blog

2013/09/07 100 users fluentd elasticsearch Kibana

こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って…... 続きを読む

memorycraft: Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）

2013/04/18 105 users logstash elasticsearch Kibana

2013年4月18日木曜日 Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析） 前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。... 続きを読む

ログ解析で楽をする話 #qpstudy でしてきました。 | debiancdn

2013/04/13 141 users debiancdn qpstudy Stable grep

ログ解析というのはインフラエンジニアの基礎の基礎です。アプリケーションが定まればそれなりのログ解析ツールは存在します。Debianのstableですら数十のツールがあります。 とはいえ、実際のログというのは往々にしてアプリケーション毎に全然ちがっているのでツールは役に立ちません。結果としてgrepを駆使したり、はたまたRDBに突っ込んだりして試行錯誤することになります。 見事に解析できたとしても、... 続きを読む

ステップバイステップで学ぶ Fluentd + GrowthForecast でグラフ作成まとめ - 彼女からは、おいちゃんと呼ばれています

2013/02/16 144 users fluent-agent-lite おいちゃん 機運 重い腰

Fluentd最近ペパボ社内でもっとうまくログ解析をして、ビジネスサイクルをもっとうまく回していこうぜという機運が高まっています。 当然 Fluentd とかにも話題が及ぶのですが、やっぱり自分で使ってみないと感覚が掴めないよねと、ようやく重い腰を上げて Fluentd に触ってみたのが 2013年に入ってから。そのときに下記の記事に大変助けられました。fluent-agent-lite と td... 続きを読む

さくらVPSで一日6万PVを処理するためにしたこと - 新卒インフラエンジニア１年目

2010/11/29 692 users さくらVPS レンタルサーバ VPS 頻度 移行

サーバさくらVPSで6万PV程度のサイトを運用することになったので、その際の記録を残しておきます。 さくらレンタルサーバ⇒さくらVPSさくらレンタルサーバで運用している時は、ちょくちょく503が発生しておりこれを解決するためにさくらVPSへの移行を行いました。 レンタルサーバの時は、ログ解析や監視ツールなどを導入していなかったので503の頻度やパターンは不明です。（安易な判断でVPSに移行したので... 続きを読む

1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE

2007/03/05 845 users GIGAZINE visitors アクセスログ解析 増大

GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化するこ... 続きを読む