分散システム処理モデルに関する動向について（MapReduceからBorgまで） - Yahoo! JAPAN Tech Blog

2015/06/10 497 users Borg 関数プログラミング モデル 特徴 以下

詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduc... 続きを読む

Treasure Dataを支える(中の人に必要な)技術 - myui's memo

2015/04/15 252 users myui's memo Treasure Data 技術

2015-04-15 Treasure Dataを支える(中の人に必要な)技術 Treasure Data（以下、TD）に入社して早2週間が経ちました。 入社してから知ったのですが、平成14年度IPA未踏ユース第1期で同期でスーパークリエイタであった西田さんがTDで働いているのを知りました。MapReduceやHadoopが登場した頃、「Googleを支える技術」という技術書*1でお世話になったの... 続きを読む

誰でも簡単に超高速なクエリができるBigQueryとは？ - Build Insider

2015/03/31 203 users BigQuery クエリ パブリック クラウドサービス 実装

この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

2014/06/26 400 users Publickey Hadoop フレームワーク 処理系 発表

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

IBM、新開発のPaaS「BlueMix」をベータ公開。Java、Node.js、Ruby実行環境とMySQL、MongoDB、MapReduce、モバイルBaaSにGitホスティング、Web開発環境など盛りだくさんの対応。IBM Pulse 2014 － Publickey

2014/02/24 130 users Publickey PaaS MongoDB BlueMix

IBM、新開発のPaaS「BlueMix」をベータ公開。Java、Node.js、Ruby実行環境とMySQL、MongoDB、MapReduce、モバイルBaaSにGitホスティング、Web開発環境など盛りだくさんの対応。IBM Pulse 2014 米IBMのイベント「IBM Pulse 2014」が2月24日（現地時間）にラスベガスで開幕しました。SoftLayerを買収以来はじめて、同社の... 続きを読む

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると － Publickey

2013/11/07 394 users Presto Hive Facebook Publickey

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向... 続きを読む

Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場

2013/09/01 216 users ガラクタ Apache Spark Kafka 集積場 ＲＤＤ

こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず... 続きを読む

HBaseを触ってみよう （1/5）：CodeZine

2013/01/16 103 users CodeZine HBase Bigtable スケーラブル

HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 － Publickey

2012/10/25 113 users Publickey Hadoop Cloudera SQL

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）... 続きを読む

GoogleのリアルタイムビッグデータツールDremelがオープンソース化してApache Drillへ

2012/08/18 254 users Apache Drill Google ドキュメ ソース化

Googleには、今さら言うまでもなく、大量のデータがあり、それらを扱うためのツールを数多く作ってきた。中でもとくに有力な製品として、MapReduceやGoogleFSはオープンソースのApache Hadoopを生み、BigTableはApache HBaseを孵（かえ）した。 でも、それで終わりではない。同社はその後もビッグデータを処理するためのツールを作り続け、それらに関する論文やドキュメ... 続きを読む

ビッグデータの価格破壊？　Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 : ITジャーナリスト星暁雄の"情報論"ノート

2012/05/02 326 users ITジャーナリスト星暁雄 ノート ビッグデータ Google

Googleが、データ解析サービスBigQueryを公開しました（Blog記事）。「ビッグデータの価格破壊」、とも言うべき内容になっています。 Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹... 続きを読む

PHP と MySQL でカジュアルに MapReduce する

2012/03/27 100 users Had MySQL yuya_takeyama PHP 業務

PHP と MySQL でカジュアルに MapReduce する — Presentation Transcript PHP と MySQL で カジュアルにMapReduce する @yuya_takeyama アジェンダ•MapReduce とは• 自作フレームワークMyMR の紹介 お断り (1)ビッグデータの話は ありません お断り (2) 業務ではまだやってません お断り (3) Had... 続きを読む

翻訳：MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのはてな

2012/02/23 161 users アルゴリズム はてな 翻訳 ユースケース パターン

Ilya Katsovによる「MapReduce Patterns, Algorithms, and Use Cases」の翻訳http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapRed... 続きを読む

グーグル、フル機能のMapReduceをGoogle App Engineで提供へ － Publickey

2011/05/23 143 users Publickey グーグル Shuffle map フル機能

グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で... 続きを読む

グーグル発「Hadoop」、日本企業も利用へ - 「情報爆発」を支えるテクノロジー：ITpro

2011/01/17 453 users Hadoop ITpro GFS テクノロジー グーグル発

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムをオープンソース化したものだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモル... 続きを読む

そろそろHadoopについてひとこと言っておくか - nokunoの日記

2011/01/03 279 users Hadoop nokuno GFS reduce ひとこと

もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書... 続きを読む

Hadoopを使いこなす(1) (Yahoo! JAPAN Tech Blog)

2010/01/26 264 users Hadoop オフィシャルページ インストール 使いこなし方

こんにちは。前回のHadoopの記事では、HadoopやMapReduceについての概要を説明しましたが、 今回は一歩踏み込んで、Hadoopの使いこなし方について書きたいと思います。 今回は、ある程度Hadoopを使ったことのある方、Hadoopのインストールをして、 オフィシャルページのMapReduceチュートリアルなどを試してみた方を対象としています。 こちらでオフィシャルページの日本語訳... 続きを読む

GoogleのMapReduceアルゴリズムをJavaで理解する (1/2) - @IT

2008/07/08 554 users Java Google 小山博史 利点 大規模分散処理

GoogleのMapReduceアルゴリズムを Javaで理解する 特集：いま再注目の分散処理技術（前編） 株式会社ガリレオ 小山博史 2008/7/8 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya reduce map 関数 はてなダイアリー

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む

Radium Software Development - MapReduce

2006/08/30 243 users Radium Software Development

HOME - ARCHIVE - ABOUT - RSS 2006-08-08 今夏の自由研究 YouTube 上で自作映像の配信を行ってみる。 機器の導入 画質を求めるならばデジタルビデオカメラの導入が適しているが，比較的高価であることが難点として挙げられる。画質を求めておらず，なおかつ自室での撮影に限定するならば，いわゆる「ウェブカメラ」を使用するのが最も手軽な方法であると言える。 機器の選択... 続きを読む