そのLambda、本当に必要ですか…？Step Functionsのすゝめ

2024/09/30 205 users Lambda

本記事はANGEL Dojo 2024参加者によるアドベントカレンダー「ANGEL Calendar」の最終日の記事になっております。 他のみなさんが書かれた記事はこちらからご覧ください！ ※…ANGEL Dojo 2024に関しましてはAWS JAPAN APNブログをご覧ください。 こんにちは、ひるたんぬです。 今日で2024年度上半期が終わりますね。これを... 続きを読む

【AWS】起動方法から考えるStep Functionsでの定期ジョブシステム

2024/09/17 6 users ワークフロー 順序 AWS 定義 タスク間

概要 AWS の Step Functions といえば簡易に順序だった複数タスクを実行するワークフローを実装できるサービスです。 Amazon States Language という JSON ベースの言語によるワークフローの定義と出来上がるワークフローの抽象化された見た目により実装自体は簡単ですが、起動方法やタスク間でのデータ管理、フロー設計... 続きを読む

サーバーレスで負荷試験！Step Functions + Lambdaを使ったk6の分散実行

2024/09/11 7 users サーバーレス Lambda 分散実行 負荷試験

ECMAScript、Web標準の型はどう管理されているか / How ECMAScript and Web standards types are maintained 続きを読む

EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる

2024/06/03 11 users cron AWS エラーハンドリング タスク デフォルト

AWSのEC2で定期的なタスクを自動化するために、cronを使用しているケースも多いと思います。 しかし、Amazon Linux 2023ではcronがデフォルトで無効になっています。これはcron以外に、cronのようなバッチ実行・定期実行する仕組みがあるということなのかと思い、cronを使わずにE2上でバッチ実行・定期実行する仕組みを... 続きを読む

Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO

2024/05/23 11 users DynamoDB DevelopersIO Lambda

Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内... 続きを読む

【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります | DevelopersIO

2024/03/18 10 users ステートマシン セキュリティチェック AWS環境 当エントリ

【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります 皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介しま... 続きを読む

Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog

2023/03/30 14 users KAYAC engineers タスク ECS Blog 藤原

SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS ... 続きを読む

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ

2022/03/28 9 users SageMaker asteriam デプロイ リソース 柏木

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組... 続きを読む

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ

2022/03/24 6 users SageMaker asteriam デプロイ 柏木 一気通

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システム... 続きを読む

Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO

2022/02/08 7 users Amazon SQS AWS Lambda 従来 上記 実際

Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functi... 続きを読む

[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな

2021/11/26 8 users ヤツ

We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime. 続きを読む

【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO

2021/05/15 9 users カスタムイベント DevelopersIO 岩田 従来 SNS

【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBr... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS バッチ処理 選択肢 ECS Lambda

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | Developers.IO

2020/09/14 7 users DynamoDB エクスポート コンバンハ AWS Glue

DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた DynamoDB から S3 へのエクスポートを定期的に実行する仕組みを AWS ブログで紹介されている CloudFormation テンプレートとスクリプトを使用して実装してみました コンバンハ、千葉（幸）です。 DynamoDB テー... 続きを読む

[アップデート]CodePipelineからStep Functionsの呼び出しが可能になりました | Developers.IO

2020/05/30 8 users CodePipeline Developers.IO 指定

CodePipelineにアップデートがあり、パイプラインからStep Functionsの呼び出しが可能になりましたので、早速試してみたいと思います。 CodePipelineのアクションプロバイダーでStep Functionsの指定が可能になりました。 CodePipeline が新しいアクションタイプでの Step Functions の呼び出しをサポート こちらのアッ... 続きを読む

広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16 - Speaker Deck

2020/02/27 21 users サーバーレス ECS Fargate 広告配信

広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16 続きを読む

Lambdaのメモリ割り当てを自動で最適化！！AWS Lambda Power Tuning ｜ Developers.IO

2020/01/08 14 users Lambda Invent2019 岩田 メモリ セッション

CX事業本部@大阪の岩田です。re:invent2019のセッションで知ったAWS Lambda Power Tuningを試してみたので簡単にご紹介します。 AWS Lambda Power Tuningとは？ Lambdaのメモリ割り当てを自動で最適化するためのツールです。Step Functionsを利用して対象のLambdaを様々なメモリ設定で実行し、どの設定値が一番パフォー... 続きを読む

[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた ｜ DevelopersIO

2019/10/07 27 users Lambda DevelopersIO map 配列 平野

こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Fu […] 続きを読む

爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた ｜ DevelopersIO

2019/09/29 96 users CloudWatch DevelopersIO 仕組 爆速

「Fargateをいかに早くスケールさせるか、そこに命をかけた男がいた…」 先日参加したセミナー（コンテナ好き4名がコンテナの魅力を喋り倒すJAWS-UGコンテナ支部に行ってきた）にそんな男がいたわけですが、その仕組を改めて動かす機会があったので、紹介します。 CloudWatchを利用しないStep Functionsを利用した爆速ス... 続きを読む

[アップデート]Step Functions ステートマシンのネストが可能になりました！ ｜ DevelopersIO

2019/08/14 12 users ステートマシン Announcement ネスト モジュール

Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思... 続きを読む

Serverless Frameworkで構築するStep Functions ｜ DevelopersIO

2019/07/30 23 users DevelopersIO CFn CLI JSONベース 構築

これまで、Step Functionsの構築にCFnやCLI等を利用していましたが、Serverless Frameworkを利用したところ、JSONベースのステートメント言語から開放され、サクッと構築できましたので紹介したいと思います。 Serverless FrameworkでStep Functionsを扱うにはプラグインが必要になります。 過去にStep Functionsプラグ... 続きを読む

[アップデート]Step Functionsの実行ステータスが変化したときにCloudWatchイベントが発行できるようになりました！ ｜ DevelopersIO

2019/05/11 20 users DevelopersIO サポート アップデート

Step Functionsステートマシンで実行ステータスが変化したときに、CloudWatchイベントが発行できるようになりました！！！ AWS Step Functions がワークフロー実行イベントのサポートを追加 […] 続きを読む

Step FunctionsからAWS Batchの配列ジョブを実行してみる – パラメータの渡し方 #reinvent ｜ DevelopersIO

2018/12/04 10 users reinvent DevelopersIO パラメータ 連携

re:Invent 2018において、Step Functionsから新たに8つのサービスが連携可能になったことが発表されました。 [神アップデート]Step Functionsが新たに8つのマネージドサービスと連携可能になりました！ #reinvent 実際にこれを使っていくにあたっては、連携先のサービスに対してより細かい制御を行うため、Step Function... 続きを読む

Step Functionsを使って初めてループや分岐をやってみた！ ｜ DevelopersIO

2018/10/15 15 users DevelopersIO サーバレス Lambda 分岐

こんにちは。芳賀です。 入社してから３カ月間、オンプレ畑で育ったエンジニアがひたすらAWSと格闘して、初めてサーバレスなアプリケーションを作り、Step Functionsを覚えたので、ちょっとブログにしてみました。 AWS Step Functionsとは？ AWSのサーバレスサービスのLambdaを使った事はあるでしょうか？ サーバレスなL... 続きを読む

AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする

2018/07/24 31 users Kinesis Firehose Lambda 選択肢 実行

CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで... 続きを読む