1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 分散処理 規模 心構え 弊社

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

分析SQLのコーディングスタイル - クックパッド開発者ブログ

2016/11/08 837 users コーディングスタイル SQLクエリー SQL バッチ いまどき

2016 - 11 - 09 分析SQLのコーディングスタイル SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO... 続きを読む

「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine

2008/11/19 668 users CodeZine 極意 計算機 はてな流 技術力

% sudo /sbin/hdparm -tT /dev/sda /dev/sda: Timing cached reads: 15012 MB in 1.99 seconds ＝ 7525.03 MB/sec Timing buffered disk reads: 176 MB in 3.02 seconds ＝ 58.37 MB/sec 上がキャッシュリード（メモリにあるOSのページキャッシュ... 続きを読む