なぜ DuckDB を採用したのか

2024/11/17 148 users DuckDB-Wasm http 中小規模 ログ解析 経由

概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS ... 続きを読む

オープンソースの S3 互換オブジェクトストレージ MinIO を DuckDB で使う

2024/11/07 48 users Minio Speaker Deck DuckDB座談会

前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から S3 互換オブジェクトストレージを利用する際、MinIO を使う事で、ローカルに気軽に S3 互換オブジェクトストレージ環境を用意できる。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck MinIO とは MinIO ... 続きを読む

S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

2024/11/06 190 users Athena Alb AWS パーティション射影 ロク

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成... 続きを読む

DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users Parquet ログファイル JSON Lines 出力 ロク

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

高速インプロセスデータベースDuckDB 1.0.0がリリース | gihyo.jp

2024/06/06 18 users gihyo.jp デプロイ リリース インストール

DuckDB Foundationは2024年6月3日、オープンソースのインプロセス分析データベース「DuckDB」の正式リリースバージョン1.0.0（コードネーム“⁠Snow Duck⁠”⁠）をリリースした。 Announcing DuckDB 1.0.0 DuckDBは高速に動作するインプロセス分析データベース。ビルドする際に外部依存関係がなく、インストールとデプロイが... 続きを読む

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース

2024/06/05 14 users シングルバイナリ クライアント データベース 正式リリース

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーショ... 続きを読む

DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog

2024/05/20 21 users リレーショナルデータベース JSON tl;dr スレッド

tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場... 続きを読む

AWS Athenaの安価な代替手段：Lambda x DuckDB - Qiita

2023/03/23 80 users Qiita AWS Athena 代替手段 lambda x

Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価... 続きを読む