第13回　Hadoopの設計と実装～並列データ処理系Hadoop MapReduce［1］：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/12/09 33 users Hadoop YARN MapReduce 並列 焦点

はじめに 第一部では，Hadoopなどの並列データ処理系の基礎である並列データベース技術や分散システム技術を解説してきました。第二部では，実際の処理系により焦点を当て，それらの設計と実装を見ていきます。 第二部では，最初の4回を用いて，Apache Hadoopの並列データ処理系であるHadoop MapReduceを始めとし，当該処理系のリソース管理を行うYARNおよび，汎用的な並列データ処理系... 続きを読む

ニュース - Hadoop MapReduceを全置き換え、スペインStratioがSpark採用事例を発表：ITpro

2014/08/11 32 users MapReduce Spark 発表 ニュース スペイン

ビッグデータ分析ソフトを手掛けるスペインのStratioは、インメモリーのビッグデータ分析ソフト「Spark」の採用事例を公開した（発表資料）。同社は7年以上前から、顧客向けのビッグデータ分析にHadoop MapReduceを使ってきたが、2013年からSparkの利用を始め、今ではMapReduceを完全にSparkに置き換えたという。 同社は2013年までの6年間ほど、MapReduceにリ... 続きを読む

Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道

2011/09/24 52 users 近道 竜司 デザインパターン MapReduce 直之

Amazon.co.jp： Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理: Jimmy Lin, Chris Dyer, 神林 飛志, 野村 直之, 玉川 竜司: 本 Hadoop MapReduce デザインパターン の監修という事をさせたもらったので その内容とかについてですね。 まず、元の本はこれです。 Amazon.co.jp： D... 続きを読む

O'Reilly Japan - Hadoop MapReduce デザインパターン

2011/09/15 40 users O'Reilly Japan 竜司 デザインパターン 直之

Hadoop MapReduce デザインパターン――MapReduceによる大規模テキストデータ処理 Jimmy Lin, Chris Dyer　著、神林 飛志、野村 直之　監修、玉川 竜司　訳 2011年10月01日 発売予定 210ページ 定価2,940円 ISBN978-4-87311-512-2 原書: Data-Intensive Text Processing with MapRed... 続きを読む

グーグル発「Hadoop」、日本企業も利用へ - 「情報爆発」を支えるテクノロジー：ITpro

2011/01/17 453 users Hadoop ITpro GFS MapReduce グーグル

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムをオープンソース化したものだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモル... 続きを読む