1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 規模 大規模データ処理 弊社 心構え

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

2009/03/03 535 users Hadoop 吉田一星 プログラマ 敷居 プラットフォーム

こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoop... 続きを読む