はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 俺メモ

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 6 / 6件)
 

秒速で10億レコードを処理する話 - KaiGaiの俺メモ

2019/10/31 このエントリーをはてなブックマークに追加 223 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai 秒速

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3~4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そ... 続きを読む

スキャン速度10GB/sへの挑戦~その④ 完結編~ - KaiGaiの俺メモ

2018/09/09 このエントリーをはてなブックマークに追加 54 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ1年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。(長かった) 要素技術:SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ

2017/07/04 このエントリーをはてなブックマークに追加 1208 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai ヘテロ NEC GPU 前職

2017 - 07 - 04 NECを退職し、新会社を立ち上げました。 ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務した NEC を退職しました。 また、本日、東京法務局品川出張所において ヘテロDB株式会社 の登記申請を行い、また、併せて新会社のチーフアーキテクト兼 代表取締役 社長に就任しました。 今後は、前職では実現できなかった、 GPU や SSD など ヘテロ... 続きを読む

進捗)SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

2017/04/23 このエントリーをはてなブックマークに追加 99 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai join NVMe PostgreSQL SQL

2017 - 04 - 23 進捗)SSD-to-GPU ダイレクトSQL実行機能 ここ暫くブログでまとめていなかった、 SSD -to- GPU ダイレクト SQL 実行機能の進捗について。 この機能をかいつまんで言うと、NVMe- SSD に格納されている PostgreSQL のデータブロックを GPU RAMに直接転送し、そこで SQL のWHERE句/JOIN/GROUP BYを実行する... 続きを読む

PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ

2015/12/15 このエントリーをはてなブックマークに追加 53 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai PostgreSQ PostgreSQL 勘弁

2015 - 12 - 15 PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 今年も PostgreSQL Advent Calendar 2015 に参加しています。 前からちょくちょく『PG-Stromって Xeon Phiだとどーなんですか?』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁!』という理由を紹介してみたいと思います。 PostgreSQ... 続きを読む

2012-01-06 - KaiGaiの俺メモ

2012/01/06 このエントリーをはてなブックマークに追加 85 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai

昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。CPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか?というものである。特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか?という着想である。クリスマス休暇の間、割... 続きを読む

 
(1 - 6 / 6件)