AS59128 のフロー情報収集と Amazon Athena での分析 - KMC活動ブログ

2023/12/24 12 users KMC活動ブログ 分析 KMC 年頃 部員

こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して... 続きを読む

AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

2023/03/18 5 users Partition Projection AWS CDK

Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの... 続きを読む

[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO

2022/04/23 7 users BigQuery DevelopersIO Athena

[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから... 続きを読む

Amazon Athena を使用して AWS Cost and Usage Report をクエリする | Amazon Web Services

2021/12/26 15 users コスト データソース 価値 使用状況 ブログ

Amazon Web Services ブログ Amazon Athena を使用して AWS Cost and Usage Report をクエリする AWS Cost and Usage Report には、お客様のコストと使用状況に関する包括的な情報が含まれています。Amazon Athena を使って AWS Cost and Usage Report のデータソースに問い合わせることで、迅速に価値を引き出すことが... 続きを読む

AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO

2021/09/25 18 users config マネジメントコンソール リソース 配信チャネル

わたしの検証環境で試していきます。 Config の設定確認 AWS Config 配信チャネルで、出力先の S3 バケットがどこであるか確認しましょう。 普段独立したリソースとして意識する機会は少ないと思いますが、マネジメントコンソールで以下から確認できる部分は配信チャネルの設定を表しています。 S3 バケットに格納された... 続きを読む

[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO

2021/08/07 9 users ORC Parquet DevelopersIO CSV 石川

[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ データアナリティクス事業本部コンサルティングチームの石川です。先日、Amazon Athenaが、UNLOADコマンドをサポートしました。SELECTクエリの結果をCSV、Parquet、Avro、ORC、JSONフォーマットでS3出力できるように... 続きを読む

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 | Developers.IO

2020/06/28 10 users パフォーマン パーティション フォーマット テーブル定義

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 Partition Projection（パーティション射影）は、テーブル定義で指定したパーティションキーのルールやフォーマットからパーティションを計算し、パーティションプルーニングを自動化します。パフォーマン... 続きを読む

[レポート] (ANT307) Athena deep dive #reinvent2019 ｜ Developers.IO

2019/12/08 8 users Developers.IO standard レポート 石川

こんにちは！DA事業本部の石川です！ 本記事はAWS re:Invent 2019のセッション「(ANT307) Athena deep dive」のレポートです。Amazon Athenaの最新機能の紹介になります。 セッション概要 Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena i... 続きを読む

Amazon Athena を使ったセキュリティログ検索基盤の構築 - クックパッド開発者ブログ

2019/11/20 101 users 構築 クックパッド開発者ブログ

こんにちは。技術部セキュリティグループの水谷（@m_mizutani ）です。最近はFGOで一番好きな話がアニメ化され、毎週感涙に咽びながら視聴しています。 TL;DR これまでセキュリティログ検索にGraylogを使っていたが、主に費用対効果の改善のため新しいセキュリティログ検索基盤を検討した 自分たちの要件を整理し、Amazo... 続きを読む

S3のログをAmazon Athenaを経由してRedashで分析/可視化 - yasuhisa's blog

2018/02/25 17 users redash DWH JSON BigQuery CSV

2018 - 02 - 26 S3のログをAmazon Athenaを経由してRedashで分析/可視化 DWHやログ基盤を色々試してみたいけど、 Amazon Redshift よりお手軽に始められるツールとして Amazon Athena を教えてもらいました。S3にtsv/csv/json...を置いておくと、SQLで分析できるってやつです。BigQueryと同じくクエリ単位で課金だけど、ロ... 続きを読む

【祝】Amazon Athena が東京リージョンにやってきました ｜ Developers.IO

2017/06/23 32 users Developers.IO 東京リージョン 藤本 Tokyo

おはようございます。藤本です。 本日、うれしいアップデートがありました。ついに Amazon Athena が東京リージョンにやってきました。東京リージョンリリースを待っていた方も多いのではないでしょうか？ Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo) Amazon Athen... 続きを読む

現場で運用する視点から見た Amazon Athena - Qiita

2017/05/28 49 users Qiita First impression API 視点

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon A... 続きを読む

AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する ｜ Developers.IO

2017/05/22 32 users Developers.IO AWS CLI 合計 ファイル数

Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になり... 続きを読む

Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services ブログ

2017/03/28 141 users SQL Amazon Web Services 標準 分析

Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 by AWS Japan Staff | on 28 MAR 2017 | in Amazon Athena | Permalink Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。... 続きを読む

R で Amazon Athena を活用する | Amazon Web Services ブログ

2017/03/22 17 users Amazon Web Services ブログ 裏側

Amazon Web Services ブログ R で Amazon Athena を活用する by AWS Japan Staff | on 22 MAR 2017 | in Amazon Athena | Permalink データサイエンティストはしばしば、R から SQL クエリを投げるときに、その裏側のビッグデータ基盤のインフラ管理を気に掛けなければなりません。 Amazon Athen... 続きを読む

Amazon Athenaを使ってJSONファイルを検索してみる ｜ Developers.IO

2017/01/25 47 users jsonファイル Developers.IO JSON 趣味

はじめに 最近、Amazon Athenaの勉強をしているのですがJSONのファイルはCSVなどと違って階層構造になっているのでどのようにして読み込むのか気になり調べてみました。 JSONファイルの作成 まずは以下のようなJSONファイルを作成しS3にアップロードしました。私が趣味やっているポケモンGOのポケモンのデータになります。 pokemon_go.json {"name": "カイリュー"... 続きを読む

S3のデータをAmazon Athenaを使って分析する | Amazon Web Services ブログ

2016/12/14 76 users Amazon Web Services データ ブログ

Amazon Web Services ブログ S3のデータをAmazon Athenaを使って分析する by AWS Japan Staff | on 14 DEC 2016 | in Amazon Athena | Permalink Amazon Athena は対話型クエリサービスで、標準的なSQLを使ってAmazon S3の直接データを直接分析することを簡単にしてくれます。Athenaは... 続きを読む

[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す ｜ Developers.IO

2016/11/30 17 users SQLクエリ Developers.IO Athena 千葉

コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを に記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサ... 続きを読む

Amazon Athena – Interactive SQL Queries for Data in Amazon S3 | AWS Blog

2016/11/30 36 users AWS blog

AWS Blog Amazon Athena – Interactive SQL Queries for Data in Amazon S3 by Jeff Barr | on 30 NOV 2016 | in Amazon Athena , AWS re:Invent | Permalink | Comments The amount of data that we all have to de... 続きを読む

Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services ブログ

2016/11/30 240 users SQLクエリ permalink フロッピーディスク データ

Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを by AWS Japan Staff | on 01 DEC 2016 | in 新サービス | Permalink 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても... 続きを読む

Amazon Athena – Interactive SQL Queries for Data in Amazon S3 | AWS Blog

2016/11/30 36 users AWS blog

AWS Blog Amazon Athena – Interactive SQL Queries for Data in Amazon S3 by Jeff Barr | on 30 NOV 2016 | in Amazon Athena , AWS re:Invent | Permalink | Comments The amount of data that we all have to de... 続きを読む