Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割を調べて実装してみた - RAKUS Developers Blog | ラクス エンジニアブログ

2024/07/18 20 users リトライ ラクス サーキットブレーカー 役割 エンジニアブログ

はじめに Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割 リトライ サーキットブレーカー レートリミット レートリミット、サーキットブレーカー、リトライの実装 サンプルアプリケーションの実装 リトライ、サーキットブレーカー、レートリミットを追加 まとめ 年に1度の技術イベン... 続きを読む

データに基づく統計手法を用いてNGINXのレートリミットを設定する - Pepabo Tech Portal

2023/12/15 7 users nginx Pepabo Tech Portal 統計手法

こんにちは。技術部プラットフォームグループのharukinです。 今回は、NGINXのngx_http_limit_req_moduleでの$binary_remote_addrを使用して、IPアドレス単位のレートリミットを設定した話をします。NGINXへの理解が浅い状況から、データに基づく統計手法を用いて通常リクエストと異なるリクエストを見分ける方法を探っ... 続きを読む

未ログインでも叩けるAPIエンドポイントにレートリミットを導入する

2023/05/03 162 users トークン APIエンドポイント OpenAI API 仕様

先日だれでもAIメーカーというWebサービスをリリースしました。このサービスは例によってOpenAI APIを使っており、トークンの使用量がランニングコストに大きく影響します。 また、気軽に使ってもらえるよう未ログインでも使用できる仕様にしているため、気をつけないと悪意のある人に大量にトークンを使用されてしまう... 続きを読む