Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey

2018/05/16 122 users Twitter Publickey コールドストレージ 発表

Twitter、数十万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセン... 続きを読む

Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadooop Spark Conference Japan 2016 － Publickey

2016/02/09 150 users Publickey 指数 規模 Japan 以下Yahoo

Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadooop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan ... 続きを読む

Hadoopが扱う機密データのマスキングについて - Qiita

2015/07/21 22 users Hadoop Qiita Hive ログファイル マスキング

CDH 5.4 から導入された、Sensitive Data Redaction (機密データのマスキング) 機能を紹介します。 できること Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングが可能です。 必要なもの CDH 5.4 / Cloudera Manager 5.4 手順 Cloudera Managerにログインし、HDFSサービス... 続きを読む

最弱のHadoopクラスタをRaspberry Piで構築する - もょもとの技術ノート

2014/12/22 51 users Hadoop ＨＡ インテル AWS Raspberry Pi

2014-11-04 最弱のHadoopクラスタをRaspberry Piで構築する Hadoop Raspberry Pi はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃ... 続きを読む

Hiveで大きめの結果ファイルをエクスポートして相手に渡す話 - wyukawa’s blog

2014/01/07 14 users Hive エクスポ Hadoop クラスタ オタク

Hadoop, Hiveいろいろな部署でデータ分析するようになると「うちのデータとおまえんところのデータを結合して解析したいからデータをくれ、もしくはおれのデータをおたくのクラスタにインポートしてくれ」みたいな話が出るようになります、たぶん。1つのHadoopクラスタにデータが全てあってみんなでそこをいじるのであればこのような話は出ない訳ですが、世の中そう話は単純ではないです。インポート、エクスポ... 続きを読む

2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium

2013/12/07 68 users Treasure Data アップグ エントリ きり ロク

2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン 2013年には、ディストリビューションのアップグ... 続きを読む