冪等性で挑む、非同期処理のパフォーマンスチューニング - GS2 Blog

2024/10/07 15 users DynamoDB Lambda サーバーレスアーキテクチャ

前回好評だった「冪等性と非同期実行」の続編にあたる記事です。 gs2.hatenablog.com 私たちが提供している Game Server Services はバックエンドに Lambda + DynamoDB といったフルマネージドサービスを活用した、いわゆるサーバーレスアーキテクチャで実装されています。 前回の記事はデータの整合性を保ちつつ、いか... 続きを読む

非同期処理とリトライと冪等性 - GS2 Blog

2024/07/29 133 users リトライ トピック 少し毛色 分岐処理 アプローチ

今回の記事は普段の GS2 のアップデート告知とは少し毛色が異なり、技術的なトピックを扱うエントリーです。 gs2.hatenablog.com こちらで告知した消費アクションの分岐処理を実装するにあたって、どのようなアプローチで課題に向き合ってきたのかを解説しようと思います。 非同期処理とリトライ まずは、非同期処理とリ... 続きを読む

Idempotency-Keyヘッダによるマイクロサービスの冪等性の担保 - エムスリーテックブログ

2023/12/15 12 users 担保 エムスリーテックブログ マイクロサービス

こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTO... 続きを読む

Amazon ECSタスクを冪等に起動できるようになりました | DevelopersIO

2023/12/12 13 users 旧聞 DevelopersIO Amazon ECS 前提

旧聞ですが、2023/11/13からAmazon ECSが冪等なタスク起動をサポートし、副作用無しに再試行、複数回呼び出せるようになりました。 現時点では、以下のECS APIが冪等性をサポートしています。 CreateService CreateTaskSet RunTask 冪等性を実現する場合、主に次の2通りがあります。 複数回呼び出される前提で、アプリを... 続きを読む

サーバーレスアーキテクチャの数理的理解と分析 #devsumi / Developers Summit 2023 Summer

2023/07/27 61 users devsumi トランザクション 静的型付き言語 考慮事項

Developers Summit 2023 Summer で使用したスライドです。 サーバーレスアーキテクチャは強力ですが、同時に冪等性やトランザクションなど特有の考慮事項が必要であり、高い設計力が求められます。ところで、安全なプログラムを書く上で、静的型付き言語は広く利用されていますね。型はいわば実行前に間違いを検出できる... 続きを読む

バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog

2021/11/30 14 users 題材 クラウドネイティブ バッチ処理 自動移行 検討

アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティ... 続きを読む

サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第一回〜べき等性 (冪等性/idempotency) ってなんだ!? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

2021/04/02 385 users サーバーレス デベロッパー サーバーレスアプリケーション

次の新規プロジェクトで、要件が定まりにくいデジタルトランスフォーメーション / DX プロジェクトで、サーバーレス を使ってみようという方が増えています。サーバーレスアプリケーションや マイクロサービス 型アプリケーションを検討すると、いずれぶつかる言葉にべき等性 (冪等性 / idempotency) というものがありま... 続きを読む

エンジニアは東横インに泊まるべきな理由｜こんぴゅ｜note

2018/02/05 441 users こんぴゅ｜note エンジニア ビジホ 東横イン 理由

世の中にビジネスホテルは多数あって激しく競争しているわけだが、エンジニアが泊まるのに適した性質を備えたビジホは限られていると思う。そんな中で、東横インは完璧に技術屋のニーズに応えており頭一つ抜け出ている。それは一体どういうことか？を説明していきたい。 冪等性が完璧に担保されている 冪等性が担保されているとは「ある操作を何回実行しても、同じ結果が返ってくる、同じ状態になる」という意味で、ソフトウェア... 続きを読む

[AWS]Lambda関数の呼び出しタイプとリトライ方式まとめ ｜ Developers.IO

2017/10/05 51 users Lambda関数 AWS Developers.IO SDK

社内などから指摘があり修正しました。「Lambda関数の呼び出しタイプにてRequestResponse(同期)の場合は冪等性は考慮不要」という記述をしましたが、誤った記載となっており申し訳ありませんでした。冪等性の考慮についてはアプリケーション依存によるところが大きく、RequestResponse(同期)でもアプリやSDKにてリトライを実施し冪等性を考慮する場合があります。記事としては、冪等性... 続きを読む

続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 - Blog by Sadayuki Furuhashi

2017/08/10 412 users 古橋 update リトライ リク エス

2017 - 08 - 10 続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 いつも心に冪等性。古橋です。 リトライと冪等性のデザインパターン の完結編です。 だいぶ間が空いてしまいましたが！ 最後に冪等性を実装する汎用的な実装手法についてまとめていきます。 パターン６：操作ログとリク エス トIDでUPDATEを冪等にする 同じIDで識別される値がUPDATEされる場... 続きを読む

S3をトリガーとするLambdaの冪等性をDynamoDBで実現してみた ｜ Developers.IO

2017/06/04 69 users DynamoDB Lambda トリガー サーバレス 西村祐二

どうも！AWS勉強中の西村祐二＠大阪です。 みなさんLambdaは使ってますでしょうか。 サーバレスでいろんなことができるので個人的にかなり好きなサービスです。 Lambdaは様々な使い方ができますが S3と連携してファイルがアップロードされたらLambdaで 何かしらの処理を実行するなどの使い方をしている方多いのではないでしょうか。 そんな時に重要になってくるのが 冪等性 です。 今回はLamb... 続きを読む

これだけ覚えておけばOK！シェルスクリプトで冪等性を担保するためのTips集 - Qiita

2016/09/26 242 users Qiita シェルスクリプト if文 TIPS集 ファイル

「シェルスクリプトって冪等性ないじゃないですか」 そんなことをよく耳にします。しかし、 if文を入れるだけ で 簡単に冪等性を担保したシェルスクリプト を書くことができます。 今回は、私が使う条件式を紹介します。基本的な形式なものなので、組み合わせると幅が広がりますよっ！ ファイル/フォルダ関係 ファイルの存在確認 -e 'ファイル名'で 「ファイル名」が 存在しているかチェック します。 if ... 続きを読む

Workflowつくーる - Workflow Engine をつくろう！ Part 2 （Workflow の冪等性） - Qiita

2015/12/28 45 users workflow Qiita まえおき task Luigi

Part 1 (Task の依存関係の解決）はこちら まえおき この連載記事で作成する Workflow Engine は、 Luigi の設計思想に大きく影響を受けています。なので、 @k24d さんの Luigi によるワークフロー管理 を先に読んでおくと、理解が深まると思います。 前回は Task の依存関係の解決方法を実装しましたが、Part 2の今回は Workflow の冪等性について... 続きを読む

Migu という golang 用 DB スキーマのマイグレーションツールを作った話 - 何気に大変

2014/10/29 45 users マイグレーションツール struct DSL golang

Ridgepole インスパイアの golang 用 DB スキーマのマイグレーションツールを作りました。 https://github.com/naoina/migu Migu は Ridgepole と同様に（バグが無い限り）冪等性が保証されています。 Ridgepole と違うところは、スキーマ定義を DSL ではなくて golang の struct で定義するところです。こうすることによ... 続きを読む

続・リトライと冪等性のデザインパターン - リトライはいつ成功するか - Blog by Sadayuki Furuhashi

2014/06/12 330 users リトライ 古橋 Delete デザインパターン リソース

2014-06-12 続・リトライと冪等性のデザインパターン - リトライはいつ成功するか 三度の飯よりエラー処理。古橋です。大変好評をいただいた序章リトライと冪等性のデザインパターンの続編です。 依然として地味ながら、若干発展的な内容です： パターン２：エラーを区別してDELETEを冪等にする リソースに常に一意なIDが振られていれば、Deleteを冪等にするのは難しくない。そもそも同じリソース... 続きを読む

リトライと冪等性のデザインパターン - Blog by Sadayuki Furuhashi

2014/06/09 672 users リトライ 古橋 日常茶飯事 使い物 デザインパターン

2014-06-09 リトライと冪等性のデザインパターン リトライを肴に一晩酒が飲める古橋です。大規模なデータに触れることが日常茶飯事になっている今日この頃。この分野のおもしろいところは、いつまで経っても終わらないプログラムを簡単に作れてしまうことかもしれません。エラー処理、リトライそして冪等性の３つを抑えていないプログラムは、小規模なデータなら問題ないが、データ量が多くなると使い物にならなくなる... 続きを読む

chefでインストール済みかどうかの判定にpacoを使うと便利 - UNIX的なアレ

2014/01/14 193 users Cookbook Chef 判定 アレ インストール

2014-01-14 chefでインストール済みかどうかの判定にpacoを使うと便利 chef Linux Unix cookbookを書くときの冪等性 cookbookはインストール時だけでなく、何度実行しても同じ状態に保たれることが重要視されます。 chef業界ではこれを冪等性（べきとうせい）と読んでいたりします。これは設定ファイルやパッケージのインストールなど、すべてに当てはまります。 例え... 続きを読む

configspec という Immutable Infrastructure 用 Configuration Management Tool をつくってみた - Gosuke Miyashita

2013/11/25 181 users configspec Rebuild Togetter 勢い

Immutable Infrastructure の有用性 - Togetter の流れの勢いで、インフラ系技術の流れ とか Rebuild: 25: Immutable Infrastructure (Naoya Ito, Gosuke Miyashita) とかで言ってたような、冪等性とか依存関係とかを考慮しないシンプルな Configuratin Management Tool である co... 続きを読む