Kafka Streams はレコードをどのように処理しているのか - Repro Tech Blog

2024/10/10 11 users レコード Kafka Repro Tech Blog 村上

Platform Team/Repro Core Unit の村上です。 Repro では Kafka を基盤としたストリーム処理のアプリケーションを構築する際に、Kafka Streams を積極的に活用しています。 Kafka Streams は、フォールトトレラントなステートフル処理を簡潔に実装でき、データパイプラインを Topology という表現で抽象化することで、複... 続きを読む

Kafka Streamsで作る10万rpsを支えるイベント駆動マイクロサービス

2023/11/20 53 users

CNDT2023 プレイベント 登壇資料 続きを読む

Kafka StreamsのWindowStateStoreを利用した集計処理で未来のタイムスタンプを扱う際の危険な罠 - Qiita

2020/03/05 6 users Qiita スレ 特定 ユーザー毎 テストコード

Kafka StreamsにはWindow Aggregationという仕組みがある。 特定の時間間隔毎にイベントの数を数えたり等を行うための機能だ。 で、それを利用してユーザー毎のイベント実行回数をカウントする処理を書いていたのだが、何故か結果が合わない。 テストコードでは再現しないし確率的に結果がズレるという状況が発生した。 ... 続きを読む