AWS Athenaの安価な代替手段：Lambda x DuckDB - Qiita

2023/03/23 80 users Qiita DuckDB AWS Athena 代替手段

Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価... 続きを読む

月間1.6億秒の Lambda x Node.js 利用から得られた知見

2022/10/18 142 users 知見 node.js StockMark 月間 プロダクト

はじめにStockmark のプロダクトでは、各メディアから記事を収集するために AWS Lambda (実行環境はNode.js) を大量に利用しています。「大量」とは実際にはどの程度なのかを紹介すると、月間で 1.6億 秒ほど(1日で約60日分) 使用しています。もしかしたら「えっ、なんでそんなに使っているの？」と思われているかもしれ... 続きを読む

Pythonでboto3を使って全リージョンで処理を回すコード書いてみた ｜ Developers.IO

2018/04/29 20 users Python Developers.IO 全リージョン 臼田

こんにちは、臼田です。 皆さん、Pythonしてますか？ 今回は全リージョンに対して処理を回す機会があったので、作成したPythonのコードを共有します。 コード コードは下記のとおりです。2.7.10と3.6.1で動くことは確認しています。 import boto3 ec2 = boto3.client('ec2') regions = map(lambda x: x['RegionName']... 続きを読む