オープンソースの S3 互換オブジェクトストレージ MinIO を DuckDB で使う

2024/11/07 48 users Minio DuckDB Speaker Deck 環境

前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から S3 互換オブジェクトストレージを利用する際、MinIO を使う事で、ローカルに気軽に S3 互換オブジェクトストレージ環境を用意できる。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck MinIO とは MinIO ... 続きを読む

DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users DuckDB Parquet ログファイル 出力 ロク

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

DuckDB雑紹介(1.1対応版)@DuckDB座談会

2024/09/13 19 users DuckDB雑紹介 1対応版

2024年6月に発表した(https://speakerdeck.com/ktz/duckdbza-shao-jie)内容にDuckDB バージョン1.1の変更点を追記した版 続きを読む