なぜ DuckDB を採用したのか

2024/11/17 148 users DuckDB DuckDB-Wasm http 中小規模 経由

概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS ... 続きを読む

Streamlitで結合テスト工数の削減に成功した話

2024/09/20 13 users Streamlit watch 削減 民主化 タクシーアプリ

GO TechTalk #29 タクシーアプリ『GO』のログ解析の民主化を促進するStreamlitの活用 で発表した資料です。 ■ YouTube https://www.youtube.com/watch?v=vcE70wYfrOA ■ connpass https://jtx.co… 続きを読む

ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 － Publickey

2021/08/09 133 users クライアントライブラリ Elastic Publickey

ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 オープンソースの検索エンジンElasticsearchは、ログ解析による運用監視やセキュリティインシデントの発見、データ分析などに使われている人気のソフトウェアです。 その開発元であるElasticは、E... 続きを読む

【セキュリティ ニュース】JPCERT/CC、ログ解析の訓練コンテンツを公開 - 痕跡発見のコツも（1ページ目 / 全1ページ）：Security NEXT

2020/07/29 8 users JPCERT JPCERTコーディネーションセンター 教材

JPCERTコーディネーションセンターは、ログ解析のトレーニング用コンテンツを公開した。GitHubより入手できる。 同コンテンツは、システム管理者やセキュリティ窓口担当者をはじめ、インシデントの分析に関心があるユーザー向けに用意した教材。これまで「Internet Week」にて実施してきた「インシデント対応ハンズオン... 続きを読む

膨大なセキュリティアラートの誤検知、「9割以上」見抜けるAIを日立が開発中 - ITmedia エンタープライズ

2018/06/13 16 users 日立製作所 アラート 検知 セキュリティアラート 年々

サイバー攻撃の検知はできても、月に数千件も上がってくるアラートにどう対応すればいいのか――そんな悩みを解決してくれるAIを日立製作所が開発している。 サイバー攻撃の激しさが増し、新たに発見される脆弱（ぜいじゃく）性も年々増え続ける中、企業のセキュリティ担当者にかかる負荷も増え続けている。「攻撃の検知や可視化はできても、ログ解析の結果出てくる、1日100件以上のアラートにどう対応すればいいのか」。そ... 続きを読む

DMMゲームのログ解析~ログ収集と解析の概要~ - dmmlabotech

2015/08/21 243 users KPI ロク DMMオンラインゲーム バックエンド 解析

2015-08-20 DMMゲームのログ解析~ログ収集と解析の概要~ 現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基... 続きを読む

grepでログ解析をするなんてひどい話だ | インフラ・ミドルウェア | POSTD

2015/05/20 457 users POSTD grep インフラ・ミドルウェア ひどい話

複数のサーバにまたがる大量のテキストログをgrepするなんてひどい話です。正規表現で解決できるという話ではありません。ログの保存をバイナリにすることで、よりスケールされたシステムにも対応でき、読みやすいクエリで検索できるようになります。今でも、systemdのjournalにおけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者... 続きを読む

「艦これ」開発/運営さんはTwitterを使っています: "【リンガ泊地サーバ】で現在大破バグがあるのでは？という事例報告を複数頂きました。事例は全てある1名のユーザーのものです。同事例

2015/02/10 23 users 提督 Twitter 不正ツール 症状 大破バグ

【リンガ泊地サーバ】で現在大破バグがあるのでは？という事例報告を複数頂きました。事例は全てある1名のユーザーのものです。同事例のログ解析を行いました。ご心配の提督も多いと思いますのでご報告します。『不正ツールの使用者以外で、そのような症状の発生は確認できません』でした。 #艦これ 続きを読む

ログ解析にNorikraを使ってみた - hase log

2014/12/17 148 users Norikra Advent Calendar 弊社 一部

2014-12-16 ログ解析にNorikraを使ってみた Norikra この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告でした。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。@kakerukaeruさんにやろうぜ！って誘わ... 続きを読む

Webサーバのログをリアルタイムで解析、監視できる『GoAccess』コマンド | 俺的備忘録 〜なんかいろいろ〜

2014/09/14 260 users tar 備忘録 コマンド リアルタイム 解析

今回は、Webサーバのログ解析をリアルタイムで行えるコマンド『GoAccess』を紹介する。 1.インストール まずはコマンドのインストールから。 以下のコマンドを実行する。 ●ソースコードからmakeする場合 $ wget http://tar.goaccess.io/goaccess-0.8.4.tar.gz $ tar -xzvf goaccess-0.8.4.tar.gz $ cd goa... 続きを読む

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio

2014/07/28 225 users fluentd elasticsearch Kibana

2014-07-28 ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります fluentd elasticsearch 2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を... 続きを読む

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ

2014/07/17 74 users インフラエンジニア養成読本 サーバ すずけんメモ 共著 作者

2014-07-18 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました 技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08... 続きを読む

FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita

2014/05/27 130 users Qiita fluentd 虎の子 BigQuery クエリ

Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google B... 続きを読む

元ヤフーのエンジニアに学ぶ！GrowthHackのためのログシステム設計［無料勉強会］ | エージェントが語るテック業界 - Levtech Time [レバテックタイム]

2014/04/15 72 users GrowthHack レバテックタイム ユーザ エージェント

こんにちは！石川です。 最近「GrowthHackに興味がある」というエンジニアさんが多くいらっしゃいます。 エンジニア視点からだと、GrowthHackの基盤ともいえるログ解析とユーザ分析の能力は市場価値が高くなりそうですし、注目ですよね！ ですが「実際に経験してみないと分からない事が多そうで、なかなか足を踏み入れにくい」という方も多いのではないでしょうか。 そこで・・・ ヤフー株式会社でユーザ... 続きを読む

elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ - Y-Ken Studio

2014/04/04 334 users elasticsearch Y-Ken Studio 注目

2014-04-04 elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ elasticsearch LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目... 続きを読む

fluentd + Elasticsearch + Kibanaで始めるログ解析 (アクセス制御編) | eXcale Developer's Blog

2014/03/05 72 users fluentd elasticsearch Kibana

eXcale開発チームの平栗です。 今回は、fluentd + Elasticsearch + Kibanaで始めるログ解析 (セットアップ編)で構築した環境に、ベーシック認証を通してアクセスする方法についてご紹介します。 前回の記事では、fluentdでログをElasticsearchに転送し、Elasticsearchで保存したログをKibanaで可視化できる環境を構築しました。 しかし、この... 続きを読む

fluentd + Elasticsearch + Kibanaで始めるログ解析 (セットアップ編) | eXcale | Blog

2014/02/26 225 users fluentd elasticsearch Kibana

eXcale開発チームの平栗です。 今回は、最近話題のfluentdとElasticsearch、Kibanaを使ったログ解析と可視化についてご紹介します。 eXcaleでもfluentdとElasticsearch、Kibanaを使って、日々発生する膨大なログの解析を行っています。 本記事では、ElasticsearchとKibanaのセットアップ、そしてfluentdを使ってElasticse... 続きを読む

PHPアプリのイベントをKibana3+Elasticsearch+Fluentdで解析するための勘所 | nanapi TechBlog

2014/01/15 7777 users nanapi TechBlog PHPアプリ akiyan

サーバーサイドアプリのイベントを Kibana3 で解析したい エンジニアのakiyanです。 ログ解析、してますか？ 大量のログを超かっこよく可視化してくれる Kibana3 を最近知ったんですけど、すごいですよね。もう、エンジニアお手製のチマチマとした集計画面を作る気がしません。 参考：ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ (sl... 続きを読む

エンジニアの総意でMongoDBを採用――メール配信システム「Cuenote FC」11年の歩みを振り返る - はてなブックマークニュース

2013/10/10 263 users MongoDB 総意 ユミルリンク エンジニア 採用

メール配信システム「Cuenote」シリーズを開発・提供するユミルリンクでは、独自のメール配信システムを開発した2002年以降、メール配信のノウハウを継続して蓄積してきた。メール配信システムに対する要求は時代と共に変化している。携帯電話のキャリアメールへの対応、多様なログ解析、そしてスマートフォン対応。メール配信システムの最新技術動向や、それを取り巻く環境の変化について、同社のエンジニアたちに聞い... 続きを読む

Kibana + ElasticSearch + fluentd を試してみた - jedipunkz' blog

2013/09/07 100 users fluentd elasticsearch Kibana

こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って…... 続きを読む

ログ解析における統計値の妥当性 - wyukawa’s blog

2013/08/19 23 users wyukawa’s blog 妥当性 統計値 ごめん おれ

技術, 仕事, ログログ解析における統計値の妥当性をどうやって担保するのかは難しい問題だと思っていてぶっちゃけ最終的にはオレを信じろ、でも間違ってたらゴメンの世界な気がする。社内で閉じていて外に出ない統計値ならまあいいんだけど、世の中そんな統計値ばかりではない。例えばWebサービスを展開していてそこに広告を出稿してもらって売り上げをたてたいとする。広告を出す方としてはそのサイトにどれぐらいPV/U... 続きを読む

ログ解析をあきらめない、あるいはSumoLogicの紹介

2013/07/25 39 users 靖宏 Statistics Likes AWS 荒木 紹介

Statistics Likes 1 Downloads 0 Comments 0 Embed Views 0 Views on SlideShare 0 Total Views 0 ログ解析をあきらめない、あるいはSumoLogicの紹介 Presentation Transcript ログ処理を「あきらめない」 JAWS−UG 中央線 第０回 荒木靖宏 自己紹介 名前 • 荒木 靖宏（AWSの... 続きを読む

memorycraft: Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）

2013/04/18 105 users logstash elasticsearch Kibana

2013年4月18日木曜日 Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析） 前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。... 続きを読む

ログ解析で楽をする話 #qpstudy でしてきました。 | debiancdn

2013/04/13 141 users debiancdn qpstudy Stable grep

ログ解析というのはインフラエンジニアの基礎の基礎です。アプリケーションが定まればそれなりのログ解析ツールは存在します。Debianのstableですら数十のツールがあります。 とはいえ、実際のログというのは往々にしてアプリケーション毎に全然ちがっているのでツールは役に立ちません。結果としてgrepを駆使したり、はたまたRDBに突っ込んだりして試行錯誤することになります。 見事に解析できたとしても、... 続きを読む

ステップバイステップで学ぶ Fluentd + GrowthForecast でグラフ作成まとめ - 彼女からは、おいちゃんと呼ばれています

2013/02/16 144 users fluent-agent-lite おいちゃん 機運 重い腰

Fluentd最近ペパボ社内でもっとうまくログ解析をして、ビジネスサイクルをもっとうまく回していこうぜという機運が高まっています。 当然 Fluentd とかにも話題が及ぶのですが、やっぱり自分で使ってみないと感覚が掴めないよねと、ようやく重い腰を上げて Fluentd に触ってみたのが 2013年に入ってから。そのときに下記の記事に大変助けられました。fluent-agent-lite と td... 続きを読む