1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 分散処理 規模 心構え 弊社

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

データ指向アプリケーションデザイン - Taro L. Saito - Medium

2019/07/18 148 users medium データ指向アプリケーションデザイン 竜司 玉川

AmazonでMartin Kleppmann, 斉藤 太郎, 玉川 竜司のデータ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理。アマゾンならポイント還元本が多数。Martin Kleppmann… 手軽に扱えるデータの量や種類が増える一方、CPUの性能はムーアの法則通りには成長しなくなり、大規模データ処理では... 続きを読む

分析SQLのコーディングスタイル - クックパッド開発者ブログ

2016/11/08 837 users コーディングスタイル SQLクエリー SQL バッチ いまどき

2016 - 11 - 09 分析SQLのコーディングスタイル SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO... 続きを読む

「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine

2008/11/19 668 users CodeZine 極意 計算機 はてな流 技術力

% sudo /sbin/hdparm -tT /dev/sda /dev/sda: Timing cached reads: 15012 MB in 1.99 seconds ＝ 7525.03 MB/sec Timing buffered disk reads: 176 MB in 3.02 seconds ＝ 58.37 MB/sec 上がキャッシュリード（メモリにあるOSのページキャッシュ... 続きを読む

Google の大規模データ処理: Days on the Moon

2008/01/25 270 users Google Days on the Moon 使命 メモ

Google の鵜飼文敏さんによる講演会「大規模データ処理を可能にする Google の技術」に行ってきました。内容的には筑波大学で開かれたものと同じではないかと思います (「新ビジネスモデル」がそのままだったことなどから)。以下、上記記事に載っていないことを中心にメモから抜書きを。 此頃 Google にはやる物 現在 Google では Google の使命 (Google's mission... 続きを読む