センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO

2024/12/07 8 users ワークロード DevelopersIO 候補 センサーデータ

センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた 大量のセンサーデータが送られるワークロードでのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaを試してみました はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 ... 続きを読む

S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

2024/11/06 190 users Alb DuckDB AWS パーティション射影 ロク

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成... 続きを読む

AWS Configコスト上昇の原因を調査：QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers

2023/10/25 24 users QuickSight 分析ツール 調査 原因 活用

ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中で... 続きを読む

Microsoftは2019年から社内で独自のAIチップ「Athena」を開発しておりOpenAIの大規模言語モデルで既にテスト中

2023/04/19 10 users LLM OpenAI chatgpt Microsoft 報道

Microsoftは2019年頃からChatGPTやGPT-4のような大規模言語モデル(LLM)のトレーニングに使用できるAIチップの開発に取り組んでいると、The Informationが報じています。報道によると、MicrosoftとOpenAIの一部の従業員は開発中のAIチップを用いてLLMのパフォーマンスを既にテストしているそうです。 Microsoft Readies A... 続きを読む

[アップデート] CloudTrail Lake で AWS 以外のアクティビティイベントをデータストアへ取り込めるようになりました | DevelopersIO

2023/02/03 6 users DevelopersIO AWS データストア アップデート

[アップデート] CloudTrail Lake で AWS 以外のアクティビティイベントをデータストアへ取り込めるようになりました いわさです。 先日のアップデートで AWS CloudTrail Lake が AWS 外からのアクティビティイベントの取り込みをサポートしました。 CloudTrail Lake は別途 Athena を用意せずに簡単に CloudTrail イベン... 続きを読む

[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO

2022/04/23 7 users BigQuery DevelopersIO 新機能 データ

[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから... 続きを読む

重たい集計バッチをAthenaを利用して高速化した話 - Tech Do | メディアドゥの技術ブログ

2020/04/23 18 users メディアドゥ 年明け 回路 集計バッチ エンジニア

こんにちは、昨年末に新しくノートPCを注文したら年明けに新モデルが発表されてしまったショックを未だ引きずっているエンジニアの回路（@qazx7412）です。 今回は昨年末に取り組んだAthenaを利用した集計バッチの高速化についての話をしようと思います。 あらすじ さて、私が普段関わっている配信システムには「売上集... 続きを読む

S3のサーバーアクセスログから、接続失敗ログを洗い出す ｜ DevelopersIO

2019/10/15 9 users DevelopersIO パケット プロパティ ロク ログ記録

S3のサーバーアクセスログをAthenaで確認し、アクセスに失敗したログを洗い出す方法をご紹介します。ユーザーからS3に接続できないと連絡があった場合などにご活用ください。 S3のサーバーアクセスログを有効にする S3コンソールから、バケットを選択しプロパティからサーバーアクセスのログ記録を有効にします。 Athena... 続きを読む

AIモデルをワンクリックで展開できるOSS「Athena」が登場：DockerやKubernetesに対応 - ＠IT

2018/11/19 37 users Docker Kubernetes OSS ワンクリック 登場

The Linux Foundation傘下のLF Deep Learning Foundationは、Dockerのコンテナとして作成したAIモデルをワンクリックで展開できるOSS「Athena」を発表した。 The Linux Foundation傘下のLF Deep Learning Foundationは2018年11月14日、AIモデル向けのオープンソースソフトウェア（OSS）「Athena」を発表した。同団体が主... 続きを読む

Facebook、インターネット衛星「Athena」の計画を認める--2019年打ち上げか - CNET Japan

2018/07/23 11 users Facebook Wired IEEE 無線信号 米CNET

米電気電子技術者協会（IEEE）が発行するIEEE Spectrumの取材班は5月、興味深い情報を明らかにした。Facebookがどうやら、実験衛星からミリ波の無線信号を地上に送信し、インターネット接続を確立する取り組みを秘密裏に進めているというのだ。 Facebookは今回、WIREDと米CNETに対して、「Athena」と名付けたこの人工衛... 続きを読む

[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] ｜ Developers.IO

2018/05/23 16 users CloudTrail コンニチハ マネージメントコンソール

[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] Athena CloudTrail コンニチハ、千葉です。 CloudTrailの証跡ログは、マネージメントコンソールから過去90日間のものを検索できますが、90日以前のものは別途S3に保存したファイルを見る必要があります。で、少し前にCloudTrailの画面から対象のログに対してAt... 続きを読む

WikiLeaks、CIAのマルウェア「Athena」を暴露--Windows標的 - CNET Japan

2017/05/23 12 users WikiLeaks CIA マルウェア 暴露 文書

WikiLeaksが米中央情報局（CIA）のハッキングツールキットを含む「Vault 7」カタログの最新資料を公開した。それには、「Athena」と呼ばれるマルウェアが含まれる。Athenaは、「Windows XP」～「Windows 10」搭載マシンの通信を傍受するための監視ツールのようだ。 Athena マルウェアの詳細は、CIAが2015年11月に作成したとされる文書に記載されている。この... 続きを読む

WikiLeaks、CIA開発の新マルウェア“Athena”を暴露。攻撃対象OSはWindows XP以降すべて - PC Watch

2017/05/21 189 users WikiLeaks HERA CIA ドキュメント 米CIA

AthenaとHeraの動作模式図 　国家や企業の機密情報を公開しているWikiLeaksは19日(現地時間)、米CIA(中央情報局)によるWindows OSをターゲットにしたスパイウェアプロジェクト「Athena」を暴露するドキュメントを掲載した。 　WikiLeaksによれば、AthenaはCIAと米セキュリティ会社のSiege Technologiesによって共同開発されたマルウェアで、そ... 続きを読む

S3のデータをAmazon Athenaを使って分析する | Amazon Web Services ブログ

2016/12/14 76 users Amazon Athena データ ブログ SQL

Amazon Web Services ブログ S3のデータをAmazon Athenaを使って分析する by AWS Japan Staff | on 14 DEC 2016 | in Amazon Athena | Permalink Amazon Athena は対話型クエリサービスで、標準的なSQLを使ってAmazon S3の直接データを直接分析することを簡単にしてくれます。Athenaは... 続きを読む

[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す ｜ Developers.IO

2016/11/30 17 users SQLクエリ Developers.IO コンニチハ AWS

コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを に記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサ... 続きを読む

18種のデザイン性のあるフレッシュなフリーフォント「18 Fresh Free Fonts for Designers」 | DesignDevelop

2015/04/07 36 users DesignDevelop フリーフォント デザイナー 存在

つぎつぎと新しいものが公開されるフリーフォント。デザイン性の高いものが多く、デザイナーとして活躍されている方にとっては非常に便利な存在になっていると思います。そんな中今回は、18種のデザイン性のあるフレッシュなフリーフォント「18 Fresh Free Fonts for Designers」を紹介したいと思います。 ATHENA – Post-modern Typeface on Behance... 続きを読む

ロッキード・マーチンのレーザー兵器 ATHENA、1.6km先からトラックのエンジンを破壊 (画像あり) - Engadget Japanese

2015/03/05 95 users ロッキード・マーチン Engadget Japanese

ロッキード・マーチンのレーザー兵器 ATHENA、1.6km先からトラックのエンジンを破壊 (画像あり) BY Munenori Taniguchi 2015年03月05日 17時40分 0 ロッキード・マーチンが、開発中のファイバーレーザーシステム「ATHENA」を使い、約1.6km 離れた場所からトラックのエンジンを破壊する実験に成功したと発表しました。ATHENAは Advanced Tes... 続きを読む

ジッツオ、電動3ウェイ雲台「アテナ」を正式発表 - デジカメWatch

2011/02/07 8 users Vista アテナ 有線 デジカメWatch 受注生産

ジッツオ、電動3ウェイ雲台「アテナ」を正式発表〜PCからの有線/無線LAN制御に対応TweetCheckマンフロットは、ジッツオの3ウェイ電動雲台「アテナ」（Athena、GH5130RC）を5月に発売する。受注生産で価格は109万2,000円。対応OSはWindows XP/Vista、Mac OS X10.4以降。カメラを装着した「アテナ」動作イメージマンフロットが、CP+2010で参考出品し... 続きを読む