秒速で10億レコードを処理する話 - KaiGaiの俺メモ

2019/10/31 223 users KaiGai 秒速

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そ... 続きを読む

スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ

2018/09/09 54 users KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ

2017/07/04 1208 users KaiGai ヘテロ NEC GPU 前職

2017 - 07 - 04 NECを退職し、新会社を立ち上げました。 ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務した NEC を退職しました。 また、本日、東京法務局品川出張所において ヘテロDB株式会社 の登記申請を行い、また、併せて新会社のチーフアーキテクト兼 代表取締役 社長に就任しました。 今後は、前職では実現できなかった、 GPU や SSD など ヘテロ... 続きを読む

進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

2017/04/23 99 users KaiGai join NVMe PostgreSQL SQL

2017 - 04 - 23 進捗）SSD-to-GPU ダイレクトSQL実行機能 ここ暫くブログでまとめていなかった、 SSD -to- GPU ダイレクト SQL 実行機能の進捗について。 この機能をかいつまんで言うと、NVMe- SSD に格納されている PostgreSQL のデータブロックを GPU RAMに直接転送し、そこで SQL のWHERE句/JOIN/GROUP BYを実行する... 続きを読む

PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ

2015/12/15 53 users KaiGai PostgreSQ PostgreSQL 勘弁

2015 - 12 - 15 PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 今年も PostgreSQL Advent Calendar 2015 に参加しています。 前からちょくちょく『PG-Stromって Xeon Phiだとどーなんですか？』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁！』という理由を紹介してみたいと思います。 PostgreSQ... 続きを読む

2012-01-06 - KaiGaiの俺メモ

2012/01/06 85 users KaiGai

昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。CPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか？というものである。特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか？という着想である。クリスマス休暇の間、割... 続きを読む