なぜ DuckDB を採用したのか

2024/11/17 148 users DuckDB-Wasm http 中小規模 ログ解析 経由

概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS ... 続きを読む

オープンソースの S3 互換オブジェクトストレージ MinIO を DuckDB で使う

2024/11/07 48 users Minio Speaker Deck DuckDB座談会

前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から S3 互換オブジェクトストレージを利用する際、MinIO を使う事で、ローカルに気軽に S3 互換オブジェクトストレージ環境を用意できる。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck MinIO とは MinIO ... 続きを読む

S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

2024/11/06 190 users Athena Alb AWS パーティション射影 ロク

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成... 続きを読む

コードマップ: DuckDBのフルスキャンクエリ

2024/10/17 8 users クエリ実行 フルスキャン 全体像 コード 画像

コードマップ: DuckDBのフルスキャンクエリ 自分がDuckDBの全体像を何となく理解するためにコードを読みつつメモしたコードマップの記事です。 DuckDBのバージョン1.0.0時点でのコードを、一番シンプルであろうフルスキャンのクエリ実行にフォーカスしてトレースしたものです。 大きな画像が見やすいビューワーで開くの... 続きを読む

DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users Parquet ログファイル JSON Lines 出力 ロク

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

オープンソースの分析データベースシステム「DuckDB」　バージョン1.0.0公開

2024/06/07 6 users ポータビリティ 重点 速度 オープンソース ソースコード

DuckDBチームは2024年6月3日（オランダ時間）、オープンソースの分析データベースシステム「DuckDB」の正式バージョン1.0.0を公開した。 DuckDBは、2018年にプロジェクトの最初のソースコードが作成された。現在のC++エンジンのコードは30万行を超える。速度、信頼性、ポータビリティ、使いやすさに重点を置いて設計され... 続きを読む

高速インプロセスデータベースDuckDB 1.0.0がリリース | gihyo.jp

2024/06/06 18 users gihyo.jp デプロイ リリース インストール

DuckDB Foundationは2024年6月3日、オープンソースのインプロセス分析データベース「DuckDB」の正式リリースバージョン1.0.0（コードネーム“⁠Snow Duck⁠”⁠）をリリースした。 Announcing DuckDB 1.0.0 DuckDBは高速に動作するインプロセス分析データベース。ビルドする際に外部依存関係がなく、インストールとデプロイが... 続きを読む

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース

2024/06/05 14 users シングルバイナリ クライアント データベース 正式リリース

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーショ... 続きを読む

DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog

2024/05/20 21 users リレーショナルデータベース JSON tl;dr スレッド

tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場... 続きを読む

DuckDB メモ

2024/02/04 8 users メモ

モチベーション JSON を読み込んで解析するツールが欲しかった 圧縮機能が欲しい 自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み 顧客が問題解析を気軽にできるようにしたい 顧客向けツールとして提供したい つまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開し... 続きを読む

AWS Athenaの安価な代替手段：Lambda x DuckDB - Qiita

2023/03/23 80 users Qiita AWS Athena 代替手段 lambda x

Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価... 続きを読む

DuckDBとdbtとRillで作るローカルで動くDWHっぽいもの

2022/11/30 7 users dbt サマリ セキュリティ 一定 運用

この記事はdbt Advent Calendar 2022の12月1日の記事です。 サマリ DuckDBとdbtを使えばローカル環境で一定のデータ量であればオレオレDWHっぽいものが作れるようになる 社内にデータ分析基盤がない、データ活用しようにもデータ基盤がなく本格的に取り組もうと思うとセキュリティや運用までかんがえると始めることすら... 続きを読む