S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

2024/11/06 190 users Athena Alb DuckDB AWS ロク

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成... 続きを読む

AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

2023/03/18 5 users Partition Projection AWS CDK

Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの... 続きを読む

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 | Developers.IO

2020/06/28 10 users パフォーマン パーティション フォーマット テーブル定義

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 Partition Projection（パーティション射影）は、テーブル定義で指定したパーティションキーのルールやフォーマットからパーティションを計算し、パーティションプルーニングを自動化します。パフォーマン... 続きを読む