PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ

2024/06/29 101 users pub Qiita マネージドサービス Sub リバイバル

本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用する... 続きを読む

AWS、オープンソースベンダのライセンス変更による商用サービスの制限は「顧客を見ていない」と反論 － Publickey

2019/12/22 90 users Publickey AWS 反論 redis MongoDB

RedisやMongoDB、Kafka、Elastisearchなどのオープンソースソフトウェアの開発元企業が、AWSなど大手クラウドベンダがそのオープンソースを用いたマネージドサービスを提供して大きな利益を上げていることに反発して、ライセンスを変更するなどで商用サービス化を制限する動きがあることは、今年の1月の記事で紹介しまし... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

O'Reilly Japan - Kafka

2018/07/20 67 users 笹井 上岡 原書 システ Gwen Shapira

Kafka Neha Narkhede、Gwen Shapira、Todd Palino　著、上岡 真也　監訳、笹井 崇司　訳 2018年08月03日 発売予定 312ページ ISBN978-4-87311-849-9 フォーマット Print PDF 原書: Kafka: The Definitive Guide 本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステ... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users fluentd Spark ニコナレ データ分析基盤

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Apache Kafka 到達 データ

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

株式会社ドワンゴを退職しました。 - だいたいよくわからないブログ

2017/02/28 51 users 株式会社ドワンゴ ブログ Scala ドワンゴ 側面

2017 - 02 - 28 株式会社ドワンゴを退職しました。 2017年2月28日付けで株式会社 ドワンゴ を退職しました。 新卒入社から二年弱、 Scala を書いたり、 ScalaText の作成に参加したり、Kafkaを運用したりしていました。 短い期間でしたがscalazコントリビューター1位＆2位の人 *1 を含め、色々な側面ですごい人達と同じチームで仕事が出来たのはとてもいい経験にな... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users KINESIS セキュリティグループ SaaS Kibana

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

Apache Kafkaに入門した | SOTA

2015/09/04 577 users Sota Apache Kafka メッセージング 導入 対象

Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache ... 続きを読む

StormとKafkaによるリアルタイムデータ処理 - Yahoo! JAPAN Tech Blog

2014/10/27 87 users Storm リアルタイムデータ処理 Yahoo もと 読者

こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるが... 続きを読む

Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場

2013/09/01 216 users ガラクタ Apache Spark 集積場 ＲＤＤ 阿呆

こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず... 続きを読む

Kafkaによるリアルタイム処理

2011/11/27 82 users Jav Twitter Photos ickr.com

Kafkaによるリアルタイム処理 - Presentation Transcript Kafka Twitter: yanaoki 2011/11/27 16 +WEB http://www.flickr.com/photos/devnull/19765635/2011 11 27 • • • Kafka • Kafka2011 11 27 • Twitter: @yanaoki • • • Jav... 続きを読む