Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users スケーラビリティ Confluent Publickey

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む

Amazon Kinesis Firehoseが東京リージョンで利用可能になりました ｜ Developers.IO

2017/08/25 16 users Developers.IO 東京リージョン 利用 コンソール

はじめに AWSチームのすずきです。 Amazon Kinesis Firehose、受け取ったストリームデータをAmazon S3などへの保存を実現する マネージドサービスが、本日(2017/8/25)AWS東京リージョンで利用可能になりましたので紹介させて頂きます。 設定 Firehoseコンソール AWSコンソールのAmazon Kinesisの画面より「Firehose」コンソールを開きま... 続きを読む

Haskellでなぜストリーム処理ライブラリが必要なのか - fujimuradaisuke's blog

2015/11/09 50 users Haskell handle 資料 コード それぞれ

2015-11-09 Haskellでなぜストリーム処理ライブラリが必要なのか 関数型ストリーム処理勉強会で発表したので、ブログにも書いておきます。 元になった資料はこちら Haskellでストリームデータを扱う方法としては、Handleを使う方法、Lazy IOがありました。しかし、それぞれに問題があり、再利用性が高く堅牢なコードを書くことは困難でした。 この状況を解決すべく、Conduit、P... 続きを読む

伊藤直也氏が語る、分散アプリケーションアーキテクチャの現在 ～Reactive SystemとMicroservices【デブサミ秋2015 基調講演レポート】 (1/3)：CodeZine（コードジン）

2015/10/23 128 users CodeZine microservices 伊藤直也氏

ストリームデータを即時にWebに反映する「リアルタイムWeb」は、TwitterやFacebookなどが普及したことでそう目新しい技術ではなくなった。しかしその実装は、まだまだ力業でなされていることが課題だ。「Developers Summit 2015 Autumn」のKaizen Platform 伊藤直也氏によるセッションでは、リアリタイムWebを実現する分散アプリケーションアーキテクチャの... 続きを読む

Case Study - 中古車も“コネクテッドカー”に、ガリバーがKinesis使い約5カ月で構築：ITpro

2014/10/06 41 users ITpro コネクテッドカー Case Study 構築 構想

愛車との双方向のやり取りを実現する消費者向けサービス「DRIVE+」をガリバーインターナショナルが開発した。いわゆる「コネクテッドカー」構想を中古車に当てはめ、自動車買い取り事業のマーケティングに生かす狙いがある。センサーなどのストリームデータを一時的に蓄積するクラウドサービス「Amazon Kinesis」を活用し、約5カ月という短期間でシステムを構築した。 「おや、見当たらないな。この辺りに駐... 続きを読む

[HTML5] MediaStream APIを使ったライブチャットを作ってみよう ｜ Developers.IO

2013/11/27 75 users ライブチャット Developers.IO HTML5

MediaStream APIとは WebRTC (Web Real-Time Communication)で定義されているAPIの一つで、ローカルのWebカメラやマイクからストリームデータを取得するためのAPIです。MediaStream APIの詳細はW3Cでドラフトが公開されています。 http://dev.w3.org/2011/webrtc/editor/getusermedia.htm... 続きを読む

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 － Publickey

2013/11/17 94 users Publickey プラットフォーム 基調講演 リアルタイム

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」で... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon Kinesis – ストリームデータのリアルタイム処理

2013/11/14 55 users Amazon Kinesis AWS発表 リアルタイム処理

新しいデータが毎日24時間、毎週7日間、連続したストリームで送られてくる状況を想像してみて下さい。そのデータをキャプチャし、処理し、何らかのアクションを伴う結論へとできるだけ早く、できれば数秒の間に導く必要があります。データレートや分析に必要なコンピュートパワーは、単位時間あたりのデータ量によって異なります。従来のバッチ処理の方式では、こうした場面であまりうまくいきません。 Amazon Kine... 続きを読む

富士通研究所、業界初となるビッグデータ処理技術を開発 - クラウド Watch

2012/11/19 12 users クラウド Watch 富士通研究所 業界初 開発 双方

富士通研究所、業界初となるビッグデータ処理技術を開発 大量蓄積データとストリームデータの双方に対応 今回の発表の位置付け 富士通株式会社および株式会社富士通研究所は19日、業界初となる、ビッグデータ向け高速データ処理技術を開発したと発表した。 今回開発した技術は、大量に蓄積されたデータにも、リアルタイムに流れるデータにも対応した形で、高速に処理するストリーム集計技術で、2013年度中を目標に、富士... 続きを読む