GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ

2021/07/05 12 users 俺メモ

タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画か... 続きを読む

秒速で10億レコードを処理する話 - KaiGaiの俺メモ

2019/10/31 223 users 秒速 俺メモ

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そ... 続きを読む

技術負債を返した話（Pre-built GPU Binary対応） - KaiGaiの俺メモ

2019/06/02 30 users 技術負債 俺メモ

最もプリミティブなPG-Stromの処理は、ユーザが入力したSQLを元にCUDA CのGPUプログラムを自動生成し、これを実行時コンパイル。ここで生成されたGPUバイナリを用いて、ストレージから読み出したデータをGPUで並列処理するという一連の流れである。 後にJOIN/GROUP BYの対応や、データ型の追加、SSD-to-GPU Direct SQLな... 続きを読む

スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ

2018/09/09 54 users RDBMS エントリ 当面 おさらい スキャン

今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ

2017/11/12 45 users CUDA ワークロード asia SQL 読み書き

2017 - 11 - 12 gstore_fdw: GPUメモリをSQLで読み書き、そして…。 GPU PostgreSQL 昨年、PGconf. ASIA で発表したPL/CUDAによる 創薬 ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測した ベンチマーク を見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」... 続きを読む

NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ

2017/07/04 1208 users ヘテロ NEC GPU 前職 SSD

2017 - 07 - 04 NECを退職し、新会社を立ち上げました。 ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務した NEC を退職しました。 また、本日、東京法務局品川出張所において ヘテロDB株式会社 の登記申請を行い、また、併せて新会社のチーフアーキテクト兼 代表取締役 社長に就任しました。 今後は、前職では実現できなかった、 GPU や SSD など ヘテロ... 続きを読む

進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

2017/04/23 99 users join NVMe PostgreSQL where句 SQL

2017 - 04 - 23 進捗）SSD-to-GPU ダイレクトSQL実行機能 ここ暫くブログでまとめていなかった、 SSD -to- GPU ダイレクト SQL 実行機能の進捗について。 この機能をかいつまんで言うと、NVMe- SSD に格納されている PostgreSQL のデータブロックを GPU RAMに直接転送し、そこで SQL のWHERE句/JOIN/GROUP BYを実行する... 続きを読む

PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ

2015/12/15 53 users PostgreSQ PostgreSQL Xeon Phi

2015 - 12 - 15 PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 今年も PostgreSQL Advent Calendar 2015 に参加しています。 前からちょくちょく『PG-Stromって Xeon Phiだとどーなんですか？』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁！』という理由を紹介してみたいと思います。 PostgreSQ... 続きを読む

2012-01-06 - KaiGaiの俺メモ

2012/01/06 85 users 俺メモ

昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。CPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか？というものである。特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか？という着想である。クリスマス休暇の間、割... 続きを読む