スロークエリを改善したらECSの負荷が爆下がりした話(TypeORM)

2024/04/05 6 users TypeORM スロークエリ 負荷 減少 改善

TL;DR TypeORMで発生していたスロークエリを改善 スロークエリを改善したらECSの負荷も減少 はじめに スロークエリを改善したら、ECSコンテナ側の負荷も下がってなんでだろ？と思ったので記事にしようと思います。 環境 TypeORM v0.3.20 Node.js v18.x バックエンドインフラ ECS on Fargate => Amazon Aurora MySQL 負荷... 続きを読む

[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media

2024/03/22 53 users Kubernetes AWS タスク コンテナ タスク定義

この記事について みなさん、ECS利用していますか！？ AWSでコンテナを使うのなら、ECSですよね！?(kubernetesわからない勢) ECSはタスクという単位で、アプリケーションを実行させます。 そして、タスクの中にコンテナが１つ以上稼働します。 タスクはタスク定義から作成されます。タスク定義はタスクの金型的な存在で... 続きを読む

はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog

2023/12/29 10 users ステージング環境 はてなブックマーク 技術 AUR インフラ

id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAur... 続きを読む

【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO

2023/12/09 10 users DevelopersIO GuardDuty 検出 設定手順

「ECS(Fargate)のランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ」 「1年の時を経てようやくGAですよ、どすこい！！」 去年のre:Invent2022において、予告だけされていたコンテナ環境のランタイム検知（参考：【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日... 続きを読む

ECSのCI/CD改善と標準化の取り組み / JAWS FESTA 2023 in Kyushu

2023/10/07 39 users CD改善 標準化

https://jft2023.jaws-ug.jp/ の発表資料です 続きを読む

【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS バッチ処理 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

改めてECSのデプロイ方法を整理する - NRIネットコムBlog

2023/09/14 51 users Alb NRIネットコムBlog 前段 梅原 デプロイ方法

こんにちは。梅原です。 今日はECSのデプロイタイプについて改めて整理します。 ECSのデプロイ方法は3つあります。 ローリングアップデート Blue/Greenデプロイ 外部デプロイ の3つです。 この記事ではローリングアップデートとB/Gデプロイについて流れをおさらいします。 ECSの前段にALBを置いた構成を例にします。 ロ... 続きを読む

ECSからS3をマウントしてみた

2023/08/20 17 users

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 Mountpoint for Amazon S3 が発表されました。 Linux から直接 S3 バケットに対して読み書き機能を提供するソフトウェアです。細かく書くと、読み取りと新規ファイル作成を行うものです。 データレイクからファイル... 続きを読む

AWS FargateにおけるAmazon ECS クラスターの効果的な分け方を様々な観点で考えてみた | DevelopersIO

2023/08/03 18 users DevelopersIO クラスター 観点 焦点 ECS on

はじめに AWS Fargateを使用している際に、ECSクラスターをECSサービスごとやECSタスクごとにどのように分けるかに迷うことがありました。 そこで、個人的に複数の観点からクラスターの効果的な分け方を考えてみました。 なお、この記事ではECS on EC2ではなく、ECS on Fargateのみに焦点を当てています。 ECSについて E... 続きを読む

Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog

2023/03/30 14 users KAYAC engineers タスク Blog SRE連載

SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS ... 続きを読む

ECSを動かすEventBridge SchedulerをTerraformで構築してみた - LIVESENSE ENGINEER BLOG

2023/02/27 17 users Terraform JST 曲者 バッチ UTC

こんにちは、インフラストラクチャーグループのyjszkです。2月から入社しました。 リブセンスにはバッチをECSとEventBridge Ruleで動かしている実装があります。EventBridge Ruleがなかなかの曲者で、UTCでしか時間を指定できません。 UTCで指定されたルールはいつ動くのかがわかりづらいですし、JSTでは1つのルールで済... 続きを読む

はてなブログをECSに移行してリリース頻度も改善した話 - Hatena Developer Blog

2022/12/26 12 users プロジ cohalz エントリ AWS ECS インフラ

この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジ... 続きを読む

ECS Service ConnectをCDKでデプロイしてみた | DevelopersIO

2022/11/29 5 users CDK DevelopersIO クライアント サーバー 機能

CX事業部Delivery部の新澤です。 先日発表されたECSの新しいマイクロサービス間通信の機能「Service Connect」が、CDKでも早速リリースされていましたので試してみました！ 概要 Service Connectの動作確認をするため、同じCloudMap名前空間の中にサーバーとクライアントの2つのFargateサービスを作成してクライアントか... 続きを読む

ECSの新ネットワーク機能「Service Connect」がリリースされました！ | DevelopersIO

2022/11/28 11 users DevelopersIO コンテ 従来 マイクロサービス 名前

ECSでマイクロサービスを実装する場合に必要不可欠な、サービスへの名前によるアクセスとネットワークトラフィック制御。従来あった機能を包含して提供する、強力な新機能の紹介です。 マイクロサービスを実装する時、アプリケーションコード以外にも、他のサービスの健全性把握や名前の管理、それらをどのようにコンテ... 続きを読む

STORES 予約 コンテナ化への道のり 前編 - STORES Product Blog

2022/11/16 13 users stores SRE アーキテクチャ 矢作 道のり

はじめに STORES 予約でSREを担当している矢作です。 STORES 予約では今年(2022年)の9月にアプリケーションを構成する大多数のサーバーをEC2からECSへと移行することでコンテナ化(以降ECS化)しました。 今回はコンテナ化をすることで解決を目指した課題についてや、コンテナ環境でどういったアーキテクチャを構築し、そ... 続きを読む

Amazon ECS で実行するコンテナをローカルでテストする - Qiita

2022/11/07 10 users Qiita amazo 焼き直し コンテナ ご存知

概要 Amazon ECS 上で実行するコンテナをローカルでテストする際ってどうしてます？ すでにご存知の方はバシバシ使われているかもですが、改めて焼き直しということで本ブログを書いていきます。 紹介するツールは、こちらの amazon-ecs-local-container-endpoints と ecs-cli です。 ちなみに ECS ってなにもの？ Amazo... 続きを読む

ECS Execの有効化が原因でECSタスクがPROVISIONING状態から遷移しなくなった話 | DevelopersIO

2022/10/20 5 users DevelopersIO Stopped pending

CX事業本部@大阪の岩田です。 先日ある環境でECSのタスクがPROVISIONING状態のまま固まって(PENDINGではないのがポイントです！)起動できなくなるという問題が発生しました。※正確にいうとPROVISIONING状態で30分程度固まる→STOPPEDに遷移→新しいタスクがPROVISIONINGされ再度30分程度固まり...という状況です。 最初はN... 続きを読む

EKSからECSに移行して開発運用コストの削減を図る - KAYAC engineers' blog

2022/09/29 138 users EKS KAYAC engineers 削減 Blog

SREチームの長田です。 今回はカヤックで運用している「まちのコイン」というプロダクトのアプリケーション基盤を Amazon EKS(以下EKS)からAmazon ECS(以下ECS)に移行したはなしをします。 まちのコインとは coin.machino.co www.kayac.com まちのコインはカヤックが運営している、デジタル地域通貨を使ってその地域のコ... 続きを読む

[神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce | DevelopersIO

2022/07/26 22 users DevelopersIO GuardDuty 挙動 コンテナ

[神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce 神機能が提供されました。EC2やコンテナでマルウェア感染の挙動を検知したら、GuardDutyがマルウェアスキャンを実施できるようになりました。ユーザーが頑張ることが1つ減りました。控えめに言って... 続きを読む

Microsoft Teamsで発生した大規模障害　原因はECSのデプロイと判明

2022/07/26 11 users Microso デプロイ Twitter インシデント 判明

2022年7月21日（現地時間）、「Microsoft Teams」や「Microsoft 365」をはじめ、Microsoftの各種サービスが利用できなくなるインシデントが発生した。Bleeping Computerによれば、この原因はMicrosoftのエンタープライズ構成サービスにあったようだ。 Microsoftは2022年7月21日（現地時間）、「Twitter」などで「Microso... 続きを読む

Lancers本番環境のコンテナ化が完了しました | ランサーズ（Lancers）エンジニアブログ

2022/06/10 15 users Lancers ランサーズ Cro SRE Batch

Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。以下前回のブログから3ヶ月経ちましたが、ついにLancersのBatch、AppサーバーをEC2からECS/Fargateに移行完了しました。 ・LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました Cro... 続きを読む

アソビュー！でのEKSクラスターの今までとこれから - asoview! TECH BLOG

2022/05/30 12 users asoview EKS アソビュー コロナ SREチーム

こんにちは、アソビュー！SREチームのkirimaruです。 コロナも少し落ち着き、皆さんもGWは大いに満喫していたのではないでしょうか。 残念ながら僕は本を読んで引きこもっていましたが......。 以前「アソビュー！がECSではなくEKSを選んだ理由」という内容でランサーズさんとのイベントでお話させていただきました。 sp... 続きを読む

ECSでマルチステージング環境を実現した設計と実装 | PR TIMES 開発者ブログ

2022/04/22 12 users 実装 PR TIMES 設計 開発者ブログ

こんにちは、普段PR TIMES STORY（以下STORY）の開発リーダーをしている岩下(@SardineTa23)です。 PR TIMES STORYは弊社のMissionである「行動者発の情報が、人の心を揺さぶる時代へ」をそのまま体現したようなプロダクトで、「創業ストーリー」や「開発秘話」などの行動者の熱量をそのまま配信して、企業とメディア、生... 続きを読む

AWS Fault Injection Simulator が、Amazon Elastic Container Service のタスクレベルのフォールトのサポートを開始しました

2022/04/15 8 users FIS AWS Fargate 実験 Amazon サポート

Amazon Elastic Container Service (ECS) のお客様は、AWS Fault Injection Simulator (FIS) 実験を使用して、タスクレベルのコンテナー障害を試せるようになりました。この新しい AWS FIS 障害アクションを使用すると、AWS Fargate または Amazon EC2 インフラストラクチャにデプロイされているかどうかに関係なく、コ... 続きを読む

ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ

2021/12/14 9 users カンムテックブログ タスク ツール 作業用

インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレー... 続きを読む