39歳で年収2000万円超え、NTTデータ「大盤振る舞い」制度の適用第1号が判明 | 日経 xTECH（クロステック）

2019/09/11 330 users xTech 大盤振る舞い OSS 横顔 クロステック

NTTデータが2018年12月に導入した高額報酬制度の「Advanced Professional（ADP）」。優れた技術者を2000万円を超える年収で遇する同制度の適用第1号がこのほど明らかになった。その人物の横顔に迫ろう。 適用第1号となったのは、ビッグデータ処理のオープンソースソフトウエア（OSS）「Apache Hadoop」の事業を同社で立... 続きを読む

Java11へのマイグレーションガイド ~Apache Hadoopの事例~

2019/05/21 33 users マイグレーションガイド 事例 Java11

2. 多数のlibraryが相互依存している状態なので、バージョンのデッドロックみたいなことがよく起こる。Hadoopを利用している、言い換えると、Hadoopに依存しているライブラリは世の中に多数あるが、それらのライブラリの開発者も、このjar hellと呼ばれる状況に困っています。 3. Hadoopはmulti packageのプロダクトなの... 続きを読む

競技プログラミングは業務の役に立つか？　~ OSSデベロッパー編 ~ - Yahoo! JAPAN Tech Blog

2019/02/05 55 users 競技プログラミング Yahoo 業務 Hadoop 傍ら

こんにちは。データプラットフォーム本部の鯵坂（@ajis_ka）です。 OSSデベロッパーとしてヤフーでの業務でApache Hadoop（以下、Hadoop）コミュニティで開発を続ける傍ら、昨年から趣味として競技プログラミングを始め、オンラインやオンサイトのコンテストに参加しています。 Hadoop Committerとしての仕事 Hadoopは、... 続きを読む

HDFSの現状と今後 (その1) - Qiita

2017/12/24 23 users HDFS Qiita Foundation 現状 entry

まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Ro... 続きを読む

Awesome Java : 素晴しい Java フレームワーク・ライブラリ・ソフトウェアの数々 - Qiita

2017/02/07 380 users タスク Apache Ant クラスタ上 トークン化 長い間

素晴しい Java フレームワーク, ライブラリ, ソフトウェアの一覧 Ancients 今後も長い間使われ続けるであろう, 古くからあるライブラリ, ソフトウェア Apache Ant - XMLとビルドプロセス管理. Apache Hadoop - コモディティ・ハードウェア・クラスタ上のデータ・セットストレージと大規模処理. Apache OpenNLP - トークン化などの一般的なタスクの... 続きを読む

日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任：NTT HOME

2016/02/04 36 users 就任 NTT HOME 日本初 鵜浦博夫 topics

NTT HOME > TOPICS > 日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソース... 続きを読む

祝10周年！ ハッピーバースデイ Apache Hadoop | Cloudera Japan

2016/01/29 367 users Cloudera Japan 生みの親 祝１０周年 角度 成果

祝10周年！ ハッピーバースデイ Apache Hadoop 2016年、Apache Hadoopとそのコミュニティは誕生から10年目を迎えました。年間を通じて、この重要な祝賀イベントを盛り上げるため、過去10年間のコミュニティの活動と成果について、様々な角度からスポットライトをあてていきます。本ページをブックマークして、#Hadoop10ハッシュタグで最新情報をフォローしてください！ 生みの親... 続きを読む

第15回　計算機クラスタのためのリソース管理基盤 Hadoop YARN：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2016/01/26 19 users 並列 Hadoop MapReduce YARN コモディティ

はじめに 前回は， MapReduceとその実装であるApache Hadoopの概要について説明しました。今回は， Apache Hadoopにおいて計算機クラスタのリソース管理を行うYARNについて解説します。 多種多様な処理系の登場 Hadoopの登場を1つの契機として， コモディティな計算機を複数台用いた計算機クラスタ上でデータ処理を行うことが広く普及しつつあります。たとえば， Hadoo... 続きを読む

第13回　Hadoopの設計と実装～並列データ処理系Hadoop MapReduce［1］：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/12/09 33 users Hadoop MapReduce YARN 並列 焦点

はじめに 第一部では，Hadoopなどの並列データ処理系の基礎である並列データベース技術や分散システム技術を解説してきました。第二部では，実際の処理系により焦点を当て，それらの設計と実装を見ていきます。 第二部では，最初の4回を用いて，Apache Hadoopの並列データ処理系であるHadoop MapReduceを始めとし，当該処理系のリソース管理を行うYARNおよび，汎用的な並列データ処理系... 続きを読む

米Google、C/C++コードをHadoop上でネイティブに動かすフレームワーク「MapReduce for C（MR4C）」を公開 | SourceForge.JP Magazine

2015/03/03 23 users フレームワーク ネイティブ Hadoop上 Hadoop 公開

米GoogleがC/C++コードを「Apache Hadoop」上で動かすためのフレームワーク「MapReduce for C（MR4C）」をオープンソースで公開した。HadoopはJavaベースで実装されているが、このフレームワークを利用することで、C/C++で書かれたアプリケーションを直接Hadoop上で動かすことができる。 Apache HadoopはJavaで作成されたビックデータ分散処理... 続きを読む

日本企業から初のApache Hadoopのコミッタ（主要開発者）就任 | NTTデータ

2014/12/18 59 users コミッタ 鵜浦 敏男 Hadoop 就任

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイ... 続きを読む

MapReduce代替の「Apache Spark 1.0」が登場 | SourceForge.JP Magazine

2014/06/04 47 users Apache Spark ASF JP Magazine

非営利団体のApache Software Foundation（ASF）は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピ... 続きを読む

【仮想化道場】並列分散処理のフレームワークとなるHadoop 2.0 - クラウド Watch

2013/12/24 29 users フレームワーク 並列分散処理 仮想化道場 Beta版

仮想化道場 並列分散処理のフレームワークとなるHadoop 2.0 （2013/12/25 06:00） 次へ NameNodeのHA機能をサポートしたHadoop 2.x 1 2 3 10月頭にApache Software Foundationから、Apache HadoopのメジャーバージョンアップとなるApache Hadoop 2.2.0がリリースされた。以前からBeta版として提供され... 続きを読む

Hadoopも2.0時代に突入：「Hadoop 2」データ処理とサービスの同時実行が可能な安定版が公開 - ＠IT

2013/10/17 12 users Hadoop HBase Storm 同時実行 双方向

StormもHBaseも並行実行できる新しいジョブスケジューラ、リソースマネージャを追加したApache Hadoop 2系の安定版がリリース。バッチ混合、双方向でのリアルタイムワークロード実行など、強力な機能を持つ。 Apache Software Foundationは2013年10月16日、大規模分散処理フレームワークのメジャーアップデート「Apache Hadoop 2」の安定版リリースを... 続きを読む

インテル、独自の「Apache Hadoop」ディストリビューションを発表 - CNET Japan

2013/02/27 18 users ディストリビューション バイスプレジデント インテル 発表

サンフランシスコ発--Intelは米国時間2月26日午前、招待者のみのイベントで独自の「Apache Hadoop」ディストリビューションを発表した。今週行われた他社の発表に対抗するものだ。 IntelでArchitecture Groupのバイスプレジデントを務めるBoyd Davis氏は、「われわれは大量のデータを生成する時代にいる」と述べた。「しかし、重要なのはそこから何を得るかではない」（... 続きを読む

GoogleのリアルタイムビッグデータツールDremelがオープンソース化してApache Drillへ

2012/08/18 254 users Apache Drill Google ドキュメ ソース化

Googleには、今さら言うまでもなく、大量のデータがあり、それらを扱うためのツールを数多く作ってきた。中でもとくに有力な製品として、MapReduceやGoogleFSはオープンソースのApache Hadoopを生み、BigTableはApache HBaseを孵（かえ）した。 でも、それで終わりではない。同社はその後もビッグデータを処理するためのツールを作り続け、それらに関する論文やドキュメ... 続きを読む

Apache Hadoopのバージョン：将来の展望 | Cloudera Japan

2012/04/02 11 users 展望 Cloudera Japan 将来 バージョン 原文

本記事は、Cloudera ソフトウェア・エンジニア Aaron T. Myers によるエイプリルフール記事を翻訳したものです。 原文についてはこちらをご覧ください。 繰り返しますが、これはエイプリルフール記事です。以下の内容についてのご質問等には一切お答えしかねますのでご了承ください。 はじめに 数ヶ月前、私の同僚Charles Zedlewskiはは、Apache Hadoopのバージョン番... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 分散処理

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT

2011/06/21 779 users Hadoop テキストマイニング Had 吉田一星 救世主

ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Had... 続きを読む

Google のソフトウェア･インフラは時代遅れだと、元 Wave エンジニアが語る « Agile Cat — in the cloud with openness

2011/06/07 36 users Agile Cat インフラ エンジニア ソフトウェア

Filed under: .Chronicle,Google — Agile Cat @ 7:12 am Tags: Apache Hadoop, Bigtable, Dhanji R. Prasanna, Google, Google App Engine, Google Wave, Infrastructure, MapReduce, Prasanna Ex-Google Engineer S... 続きを読む