ウノウラボ Unoh Labs: Amazon Web Services入門: PHPとEC2/S3/SQS/SimpleDBで作るビデオ共有サイト

2010/01/03 271 users 五十川 articles PHP AWS リソース

新年あけましておめでとうございます、五十川です。 PHPデベロッパー向けのAmazon Web Services（AWS）のリソースはhttp://aws.amazon.com/php/にまとめられていますが、そのArticles & Tutorialsカテゴリーにある、Introduction to AWS for PHP Developersという記事は、AWSの主要サービスの概要と、PHPに... 続きを読む

SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG

2024/03/26 215 users ZOZO TECH BLOG 非同期化

こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo... 続きを読む

SQS + Lambda という⾮同期処理 ⻩⾦パターン再⼊⾨ #AWSDevDay / SQS-Lambda-DevDay2022

2022/11/10 155 users Lambda AWSDevDay 同期処理

Transcript © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. SQS + Lambda という⾮同期処理 ⻩⾦パターン再⼊⾨ ⽩⽯ ⼀乃 E-1 アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 ⻄⽇本ソリューション部... 続きを読む

AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 ｜ Developers.IO

2014/05/12 119 users SPOF ベストプラクティス AWS エンド アップル信者

よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエント... 続きを読む

DynamoDBやSQSといったAPIを高頻度に使うときに忘れずにセットしておきたいカーネルパラメータ - aws memo

2014/02/25 63 users カーネルパラメータ memcached fluentd 通常

2014-02-25 DynamoDBやSQSといったAPIを高頻度に使うときに忘れずにセットしておきたいカーネルパラメータ EC2 DynamoDB, SQSなどは、Linux内部から高頻度に HTTP APIを叩きに行くことになる。( Fluentdやら、memcachedやらも同じかも) 通常のLinuxのカーネルパラメータ設定で、本番環境や、負荷テスト環境に使うと、おそらくネットワーク障害... 続きを読む

CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 - KAYAC engineers' blog

2017/04/10 52 users CloudWatch github.com 吉村 目次 背景

2017 - 04 - 10 CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 Lobi の吉村(moulin)です。今回はCloudWatch + SQSのバッチサーバ冗長化のために作成した「sqsjkr」についてご紹介します。また、sqsjkrはGo実装です。 github.com 目次 背景 sqsjkrについて 運用について 背景 バッチサーバー... 続きを読む

AWSでジョブWorkerを構成するベストプラクティス 〜 Brianの巻 ｜ Developers.IO

2014/05/20 42 users Brian ベストプラクティス AWS worker 中段

よく訓練されたアップル信者、都元です。ここまで「AWSでジョブWorkerを構成するベストプラクティス」と題して2本の記事を書いてまいりました。SQSの巻では、バックグラウンドジョブの実行にはSQSを使ってスケーラビリティを確保しようという、下図中の中段の話をしました。続いてBeanstalk worker tierの巻では、Workerの実装方法として、図中の下段の話をしました。今回は、上段の話... 続きを読む

AWS: SQS, Lambda, デッドレターキューを用いたリトライ仕様の検証 - Qiita

2019/04/24 41 users Lambda Qiita input AWS デフォルト

項目 設定値 キューの属性 標準キュー デフォルトの可視性タイムアウト 10秒 メッセージ保持期間 3分 配信遅延 5秒 メッセージ受信待機時間 3秒 最大受信数 5 項目 設定値 備考 リソース 有り / 無し 2パターンの比較 最大受信数(maxreceivecount) 5(有の場合) / - 同上 Lambda(Input) SQSにデータを入れるツールのため... 続きを読む

LambdaをAPI Gatewayから非同期で呼出してみた - Qiita

2019/04/01 37 users Qiita Lambda API Gateway 同期呼出

Lambdaは同一リージョン内での同時実行数が「1,000」で、 同期呼出の場合呼び出し時にMAXを超えた以降の処理はエラーになっちゃうんですよね。 SQS使って管理しろって言われるかもしれませんが、 できるだけ使用するサービス数は押さえてシンプルにさっぱり頂きたい。 というわけでなんとか楽をしたくて調べてみたところ... 続きを読む

S3 Event NotificasionsをAmazon SQSで受け取る - Glide Note - グライドノート

2014/11/21 32 users Glide Note グライドノート Amazon SQS

最近やっている仕事で先日発表されたS3 Event Notificationsが利用出来そうな感じがしたのでちょっと調査。 S3にファイルがアップされたらAmazon SQSで通知を受け取るようにしてみた。 S3 => SNS => SQS への通知は解説しているサイトが結構あるんですが、S3 => SQS への通知設定の 情報が見当たらなかったので、動くようになるまで、いろいろと試行錯誤を繰り返... 続きを読む

オミカレにおけるAWS SQS/Lambda/CloudWatchの障害対応 | uedy

2020/04/20 30 users CloudWatch Lambda オミカレ AWS SQS

2020年4月20日18:58頃に発生したSQS/Lambda/CloudWatchの障害への対応 オミカレでもAWSのSQS/Lambda/CloudWatchを利用している。主にメールやPush通知を送信しており、これが止まれば 会員登録・予約 などの様々なユーザー体験が損なわれる。 なので対応を議論していたところ 天才的ひらめきですぐに移すことに取り掛か... 続きを読む

AWS連携機能を強化した「DataSpider Servista 3.2」がリリースされたのでアプレッソさんに話を聞いてみました ｜ Developers.IO

2014/12/19 19 users Developers.IO RDS アプレッソ アダプタ

AWS連携機能を強化した「DataSpider Servista 3.2」がリリースされたのでアプレッソさんに話を聞いてみました DataSpider Servista 3.2 が12月19日に正式リリースされました。今回のリリースでは AWS との連携機能が強化され、Amazon Redshift、SQS、RDS、S3 とのアダプタが新機能・機能拡張として提供されています。 アプレッソ 友松さん... 続きを読む

Ruby - [Rails] Shoryuken + FakeSQSで非同期処理 - Qiita

2015/11/27 18 users Rails Qiita gem Ruby Resque

Railsで非同期処理っていったらDelayedJobとかResqueとかSidekiqとかいろいろありますが、 今回はShoryukenにチャレンジしてみます。 ShoryukenはAWS SQSからジョブ取り出すワーカーを簡単に作っちゃおうっていうGemなんですが、 今回は本物のSQSは貧乏なので使わずにFake SQSというSQS（っぽいもの）をローカルで立てることができるGemを使ってロー... 続きを読む

AWS LambdaでSQSのコンシューマを作る - Qiita

2015/02/08 17 users Qiita コンシューマ ストリーム 無限ループ 処理

AWS Lambdaの無限ループパターンで何かできないかなと考えてたら思いついたので試してみた話。 構成 KinesisのストリームからAWS Lambdaを起動して、処理が完了したら再度AWS Kinesisにプッシュすることで無限ループを行います。 この無限ループ中でSQSからメッセージを受け取り、メッセージ処理用のAWS Lambdaを起動して、メッセージを処理できたらSQSからメッセージを... 続きを読む

Amazon Simple Queue Service（SQS）の使い方 - プログラマになりたい

2013/02/05 16 users プログラマ AWS 一例 データベース 低コスト

AWSのサービスはどれも良く考えられていて好きですが、そんな中で使えば使える程に良さが解ってくるサービスとしてAmazon Simple Queue Service（SQS）があります。その名の通り、シンプルなキューサービスです。その分、可用性が高く、上手く使いこなせば様々なサービスの可用性を低コストで上げることが出来ると思います。　一例で言えば従来型のシステムでは、可用性を上げる肝はデータベース... 続きを読む

BaggageをREST/gRPC/SQSで伝播できるようにした話 - Qiita

2022/10/12 14 users Qiita grpc REST userid Datadog

なお、弊社はベンダーとしてはDatadog、言語としてはGoを使っているのでその前提でこのブログを書きますが、その他のベンダー、言語でも参考になると思います。 Baggageに含めるとよさそうなもの よくあげられる例としては、UserIDやProductID、ソースIPアドレスなどのリクエストに紐づくデータが挙げられます。注意点と... 続きを読む

SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ

2019/12/14 12 users github.com ディス AWS SQS 実装 かわしん

誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりな... 続きを読む

初めてのAWS Batch – 必要な各コンポーネントを理解する – ｜ Developers.IO

2017/10/16 12 users Developers.IO AWS Batch コンニチハ

コンニチハ、千葉です。 AWS Batchを導入する機会があり、AWS Batchのコンポーネントを整理してみました。 AWS Batchとは？ AWS Batch登場以前、バッチ処理でスケーラビリティをもたせようとすると以下のような構成案がありました。SQSを利用したpull型のバッチ処理です。 処理対象をSQSにキューイング EC2上にデプロイされたプログラムにより、キューを取得、処理、キュー... 続きを読む

Rapsberry piとSQSでtweetスイッチを作る - Qiita

2014/08/18 12 users Qiita Rapsberry Pi

日々生活をしていると、ストレスというものが貯まるらしい。 twitterについ心の闇を吐き出してしまうこともあるでしょう。 ただ、twitterは怖い所。 一時の感情でとんでもないつぶやきをしてしまって全世界へ公開されてしまう。 30分も経てば大体の怒りは収まり、ネガティブな発言をしてしまった事を後悔してしまう事もあるかもしれません。 恐ろしいですね。 ということで、そういったつぶやきは一旦キュー... 続きを読む

AWS SDK for Node.jsが知らない間に機能ふえてた件 ｜ クラスメソッド開発ブログ

2013/02/19 11 users node.js クラスメソッド開発ブログ 機能 プロジェクト

aws-sdk-jsがpre5に 以前の記事で、AWS SDK for Node.jsの紹介記事がありました。 このときはまだpre1のときで、サポートしているサービスは、 S3 EC2 DynamoDB SimpleWorkflow だったとおもいます。 直近のプロジェクトで、Amazon SNSやSQSを使用する機会があったのですが、aws-sdk-jsが対応していなかったので、 node-a... 続きを読む