Amazon EventBridge Pipesを使ってプロデューサー/コンシューマー型メッセージ処理のパイプラインを簡略化しよう #reinvent | DevelopersIO

2022/12/03 7 users reinvent DevelopersIO Lambda

re:Invent 2022で発表されたAmazon EventBridge Pipesを使うと、Producer/Consumer型のメッセージング処理をメッセージブローカーやワーカーに関係なく一貫した手法で実装できます。 メッセージブローカーにAmazon SQS、ConsumerのワーカーにLambdaを利用する構成で、従来のLambdaイベントソース型とEventBridge Pipesを... 続きを読む

マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services

2022/05/18 10 users Amazon Web Services キューイング 一部

Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに... 続きを読む

Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO

2022/02/08 7 users AWS Lambda 従来 DevelopersIO 上記

Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functi... 続きを読む

Amazon SQS のメッセージを処理するアプリケーションを本番で運用するために考えるべき基本的な 5 つのこと - あらびき日記

2020/10/19 274 users アプリケーション あらびき日記 本番 メッセージ AWS

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考... 続きを読む

guzzleで並列処理とリトライをやろうとして折れた話 - BASE開発チームブログ

2019/12/09 7 users Guzzle tatsu リトライ 並列処理 結論

この記事はBASE Advent Calendar 2019の9日目の記事です。 はじめまして。BASE株式会社のtatsuと申します。 最近、業務にて guzzle を使う機会がありました。結論から述べますと guzzle のみで実現することは出来ず Amazon sqs を併用するという形で落ち着いたのですが、いくつか知見を得ることも出来たのでその事につい... 続きを読む

Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店

2015/05/18 65 users RedShift RIN fluentd 諸々 ロク

2015-05-18 Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messa... 続きを読む

S3 Event NotificasionsをAmazon SQSで受け取る - Glide Note - グライドノート

2014/11/21 32 users Glide Note グライドノート SQS 試行錯誤 SNS

最近やっている仕事で先日発表されたS3 Event Notificationsが利用出来そうな感じがしたのでちょっと調査。 S3にファイルがアップされたらAmazon SQSで通知を受け取るようにしてみた。 S3 => SNS => SQS への通知は解説しているサイトが結構あるんですが、S3 => SQS への通知設定の 情報が見当たらなかったので、動くようになるまで、いろいろと試行錯誤を繰り返... 続きを読む

Amazon Web Services ブログ: 【AWS発表】Amazon SQS に 新機能 Dead Letter Queue を追加

2014/01/31 31 users Dead Letter Queue AWS発表 追加 新機能

Simple Queue Service (SQS) はアプリケーションのコンポーネントを疎結合にしてくれるサービスです。SQSをうまく活用することによりアプリケーションを簡単に構築し、スケールさせ、稼働させることができます。例えば、ジョブを生成するタスク（プロデューサータスクと呼びます）はキューにメッセージを積んでいき、これらを処理するタスク（コンシューマータスクと呼びます）はキューからメッセー... 続きを読む

無料のクラウドリソース登場: アマゾンクラウド(AWS)が無料ティアを発表 - Amazon Web Services ブログ

2010/11/01 357 users AWS アマゾンクラウド アプリケ 発表 無料

覚えている方もいらっしゃるかもしれませんが、昨年、我々はAmazon SQS、 Amazon SNS、Amazon SimpleDBに無料ティアを設けました。我々はこの経験から、アマゾンクラウドサービスを使ってみたいという開発者の皆様にとって、まず最初は料金を支払うことなく開始できる、という点が非常に好ましく、重要である、ということを学びました。ちなみに、多くの場合、開発者の皆様は、立派なアプリケ... 続きを読む