AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする

2018/07/24 31 users CloudWatch Events Lambda 選択肢

CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで... 続きを読む

Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 - ソモサン

2017/12/19 14 users rust Lambda ソモサン Python 概要 Rust

2017 - 12 - 20 Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 Programming Rust AWS 概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていっ... 続きを読む

[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます ｜ Developers.IO

2017/08/19 17 users Developers.IO 菊池 データ 新機能 本日

こんにちは、菊池です。 本日（日本時間：2017/8/19）の機能アップデートにより、Kinesis Streamsに配信されたデータを直接Kinesis Firehoseで読み取ることができるようになりました。 Amazon Kinesis Firehose can now read data directly from Amazon Kinesis Streams この機能統合により、Kine... 続きを読む

ASCII.jp：“PostgreSQL互換版”Amazon Auroraの性能はRDSの何倍？ (1/2)

2017/07/06 41 users RDS AWSJ MariaDB PostgreSQL ウェブ

アマゾン ウェブ サービス ジャパン（AWSJ）が7月5日、AWS上でのデータベース（DB）技術をテーマとしたイベント「AWS Solution Days 2017 ～AWS DB Day～」を開催した。基調講演では4名のゲストが登壇し、Amazon Aurora/RDS、PostgreSQL、MySQL/MariaDB、Oracle DB、SQL Server、Kinesis Firehoseな... 続きを読む

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ ｜ Developers.IO

2016/12/21 52 users JSON形式 Developers.IO 変換 ETL 新機能

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ AWS特集 Kinesis Lambda こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「 データ変換機能 」です。所謂 ETL ... 続きを読む