Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey

2018/05/16 122 users Twitter Publickey コールドストレージ 発表

Twitter、数十万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセン... 続きを読む

Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadooop Spark Conference Japan 2016 － Publickey

2016/02/09 150 users Publickey 指数 規模 Japan 以下Yahoo

Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadooop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan ... 続きを読む

最弱のHadoopクラスタをRaspberry Piで構築する - もょもとの技術ノート

2014/12/22 51 users Hadoop ＨＡ インテル AWS Raspberry Pi

2014-11-04 最弱のHadoopクラスタをRaspberry Piで構築する Hadoop Raspberry Pi はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃ... 続きを読む

2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium

2013/12/07 68 users Treasure Data アップグ エントリ きり ロク

2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン 2013年には、ディストリビューションのアップグ... 続きを読む