Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users Confluent スケーラビリティ センサー リアルタイム

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む

Haskellでなぜストリーム処理ライブラリが必要なのか - fujimuradaisuke's blog

2015/11/09 50 users Haskell handle 資料 コード それぞれ

2015-11-09 Haskellでなぜストリーム処理ライブラリが必要なのか 関数型ストリーム処理勉強会で発表したので、ブログにも書いておきます。 元になった資料はこちら Haskellでストリームデータを扱う方法としては、Handleを使う方法、Lazy IOがありました。しかし、それぞれに問題があり、再利用性が高く堅牢なコードを書くことは困難でした。 この状況を解決すべく、Conduit、P... 続きを読む

伊藤直也氏が語る、分散アプリケーションアーキテクチャの現在 ～Reactive SystemとMicroservices【デブサミ秋2015 基調講演レポート】 (1/3)：CodeZine（コードジン）

2015/10/23 128 users microservices CodeZine 伊藤直也氏

ストリームデータを即時にWebに反映する「リアルタイムWeb」は、TwitterやFacebookなどが普及したことでそう目新しい技術ではなくなった。しかしその実装は、まだまだ力業でなされていることが課題だ。「Developers Summit 2015 Autumn」のKaizen Platform 伊藤直也氏によるセッションでは、リアリタイムWebを実現する分散アプリケーションアーキテクチャの... 続きを読む

[HTML5] MediaStream APIを使ったライブチャットを作ってみよう ｜ Developers.IO

2013/11/27 75 users ライブチャット Developers.IO HTML5

MediaStream APIとは WebRTC (Web Real-Time Communication)で定義されているAPIの一つで、ローカルのWebカメラやマイクからストリームデータを取得するためのAPIです。MediaStream APIの詳細はW3Cでドラフトが公開されています。 http://dev.w3.org/2011/webrtc/editor/getusermedia.htm... 続きを読む

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 － Publickey

2013/11/17 94 users Publickey プラットフォーム 基調講演 リアルタイム

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」で... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon Kinesis – ストリームデータのリアルタイム処理

2013/11/14 55 users Amazon Kinesis AWS発表 リアルタイム処理

新しいデータが毎日24時間、毎週7日間、連続したストリームで送られてくる状況を想像してみて下さい。そのデータをキャプチャし、処理し、何らかのアクションを伴う結論へとできるだけ早く、できれば数秒の間に導く必要があります。データレートや分析に必要なコンピュートパワーは、単位時間あたりのデータ量によって異なります。従来のバッチ処理の方式では、こうした場面であまりうまくいきません。 Amazon Kine... 続きを読む