Hadoop環境のクラウド移行 - Technology of DeNA

2019/09/19 25 users クラウド移行 Technology of DeNA

IT基盤部の nodoka です。 私の業務はWebサービスの運用が中心でしたが、数年前からhadoopを中心とした分散基盤環境のインフラも見るようになりました。 当初は巨大なhadoop環境の管理を体系化して引き継ぐことと、運用における属人性を排除することが喫緊の課題でした。 それが落ち着くと、ご多分に漏れずクラウド化を... 続きを読む

HiveとImpalaにワークフロースケジューラーに入れてみた（前編） - CyberZ公式エンジニアブログ

2015/11/12 11 users CyberZ Hive Impala 遠藤 後編

2015-11-12 HiveとImpalaにワークフロースケジューラーに入れてみた（前編） こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり秋めいてきたので、温泉に行きたい今日このごろです。 さて、今回は社内にあるデータ分析用基盤のHadoop環境にワークフロースケジューラーを導入したので、前編と後編に分けてCyberZでの導入事例を書きたいと思います。 弊社ではさまざまなデータの... 続きを読む

DockerでUID分離が実現したらHadoop運用は効率化する――米Altiscaleが開発中 - ＠IT

2014/06/16 42 users YARN Docker Hadoop summit 適用 同社

Hadoop環境もDockerを使えば管理が効率化する？ AltiscaleがYARNへの適用を進めている。 Hadoopサービスを手掛ける米Altiscaleは、2014年6月_日に開催されたの「Hadoop Summit」に合わせ、DockerをYARN（Yet-Another Resource Negotiator）に対応させるために同社が進めているプロジェクトをブログで紹介した。 YARN... 続きを読む