はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 俺メモ

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 9 / 9件)
 

GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ

2021/07/05 このエントリーをはてなブックマークに追加 12 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai

タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画か... 続きを読む

秒速で10億レコードを処理する話 - KaiGaiの俺メモ

2019/10/31 このエントリーをはてなブックマークに追加 223 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai 秒速

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3~4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そ... 続きを読む

技術負債を返した話(Pre-built GPU Binary対応) - KaiGaiの俺メモ

2019/06/02 このエントリーをはてなブックマークに追加 30 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai 技術負債

最もプリミティブなPG-Stromの処理は、ユーザが入力したSQLを元にCUDA CのGPUプログラムを自動生成し、これを実行時コンパイル。ここで生成されたGPUバイナリを用いて、ストレージから読み出したデータをGPUで並列処理するという一連の流れである。 後にJOIN/GROUP BYの対応や、データ型の追加、SSD-to-GPU Direct SQLな... 続きを読む

スキャン速度10GB/sへの挑戦~その④ 完結編~ - KaiGaiの俺メモ

2018/09/09 このエントリーをはてなブックマークに追加 54 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ1年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。(長かった) 要素技術:SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ

2017/11/12 このエントリーをはてなブックマークに追加 45 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai CUDA ワークロード asia SQL

2017 - 11 - 12 gstore_fdw: GPUメモリをSQLで読み書き、そして…。 GPU PostgreSQL 昨年、PGconf. ASIA で発表したPL/CUDAによる 創薬 ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測した ベンチマーク を見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」... 続きを読む

NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ

2017/07/04 このエントリーをはてなブックマークに追加 1208 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai ヘテロ NEC GPU 前職

2017 - 07 - 04 NECを退職し、新会社を立ち上げました。 ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務した NEC を退職しました。 また、本日、東京法務局品川出張所において ヘテロDB株式会社 の登記申請を行い、また、併せて新会社のチーフアーキテクト兼 代表取締役 社長に就任しました。 今後は、前職では実現できなかった、 GPU や SSD など ヘテロ... 続きを読む

進捗)SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

2017/04/23 このエントリーをはてなブックマークに追加 99 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai join NVMe PostgreSQL SQL

2017 - 04 - 23 進捗)SSD-to-GPU ダイレクトSQL実行機能 ここ暫くブログでまとめていなかった、 SSD -to- GPU ダイレクト SQL 実行機能の進捗について。 この機能をかいつまんで言うと、NVMe- SSD に格納されている PostgreSQL のデータブロックを GPU RAMに直接転送し、そこで SQL のWHERE句/JOIN/GROUP BYを実行する... 続きを読む

PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ

2015/12/15 このエントリーをはてなブックマークに追加 53 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai PostgreSQ PostgreSQL 勘弁

2015 - 12 - 15 PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 今年も PostgreSQL Advent Calendar 2015 に参加しています。 前からちょくちょく『PG-Stromって Xeon Phiだとどーなんですか?』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁!』という理由を紹介してみたいと思います。 PostgreSQ... 続きを読む

2012-01-06 - KaiGaiの俺メモ

2012/01/06 このエントリーをはてなブックマークに追加 85 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai

昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。CPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか?というものである。特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか?という着想である。クリスマス休暇の間、割... 続きを読む

 
(1 - 9 / 9件)