Kafka Streams はレコードをどのように処理しているのか - Repro Tech Blog

2024/10/10 11 users Kafka Streams レコード Kafka Repro

Platform Team/Repro Core Unit の村上です。 Repro では Kafka を基盤としたストリーム処理のアプリケーションを構築する際に、Kafka Streams を積極的に活用しています。 Kafka Streams は、フォールトトレラントなステートフル処理を簡潔に実装でき、データパイプラインを Topology という表現で抽象化することで、複... 続きを読む

DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

2023/07/09 11 users テー バッチ DynamoDB 自体 ユーザー

テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテー... 続きを読む

ストリーム処理とは何か？＋2016年の出来事 - Qiita

2016/12/24 133 users 冗長 Qiita 分野 ベース 影響

この記事で書いている内容は？ ストリーム処理とはそもそも何かからはじまり、必要になる検討ポイントなどの情報を振り返り用にまとめたものです。 あとは、今年個人的にこの分野に影響が大きかったと思ったイベントをまとめています。 他の方へ説明する際のベースとするためにまとめているため、 既にこの分野を知っている方にとっては冗長な内容も多いかもしれませんが、 その場合は適宜読み飛ばしていただけると。 あと、... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users Kafka KINESIS セキュリティグループ SaaS

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

Google、ビッグデータ処理基盤の「Cloud Dataflow」を正式サービスとして公開。エクサバイトまでスケール可能 － Publickey

2015/08/18 34 users エクサバイト Publickey バッチ フルマネージド 一連

Googleは、ビッグデータ処理のためのサービス「Cloud Dataflow」を正式版として公開すると8月12日に発表しました。 Cloud DataflowはGoogle Cloud Platformで提供されるフルマネージドのクラウドサービスで、エクサバイトのスケールまで対応。大量のデータの取得、変換、分析、分類などの一連の処理を、リアルタイムに処理するストリーム処理、逐次的に処理するバッチ... 続きを読む

勉強会メモ - Norikra meetup - よしだのブログ

2014/07/09 44 users Norikra meetup Norikra 勉強会メモ

2014-07-09 勉強会メモ - Norikra meetup 昨日の今日で Norikra meetup に参加しています！アツい！かなり参考になった＆早速つかってみようと思いました！まずは、ログの集計からかなー。 というわけで、以下メモです。 ストリーム処理とは、およびNorikraの概要と機能 @tagomoris Stream processing and Norikra from S... 続きを読む

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ - ＠IT

2014/06/26 34 users Cloud Dataflow サンフランシスコ グーグル

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ Google I/Oでは、多様なデバイスに注力する発表が相次いだ一方で、データ分析基盤サービスの発表もあった。ストリーム処理もバッチ処理もシンプルな実装で実現する。 米グーグルは2014年6月15日にサンフランシスコで開いた年次開発者会議「Google I/O 201... 続きを読む

ニュース - グーグル、MapReduce後継のビッグデータ処理サービス「Cloud Dataflow」を発表：ITpro

2014/06/26 67 users Cloud Dataflow MapReduce グーグル

米グーグルは2014年6月25日（米国時間）、ビッグデータ分析のクラウドサービスである「Google Cloud Dataflow」を発表した。グーグルの並列データ処理技術「MapReduce」の後継技術をベースにしたサービスで、バッチ処理だけでなくストリーム処理やリアルタイム処理を実行できることが特徴。25日から同社が米国サンフランシスコ市で開く開発者会議「Google I/O 2014」で発表... 続きを読む

LINEの「インターン生の月給40万円」がお仕事中の社会人を動揺させる : 市況かぶ全力２階建

2014/06/12 446 users 市況かぶ全力２階建 インターン生 line チューター 社会人

自分もチューターやります。うちのデータでやってみたいバッチ処理とかストリーム処理とか分析とか抱えてる学生さんとかいたらちょう来てほしい！！！ / “"LINE Summer Internship 2014"募集開始！ : LINE…” http://t.co/udH0sfGAAl— tagomoris (@tagomoris) 2014, 6月 12 ガバッ! 40万!!— git blame (... 続きを読む