[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media

2024/03/22 53 users Kubernetes AWS タスク コンテナ タスク定義

この記事について みなさん、ECS利用していますか！？ AWSでコンテナを使うのなら、ECSですよね！?(kubernetesわからない勢) ECSはタスクという単位で、アプリケーションを実行させます。 そして、タスクの中にコンテナが１つ以上稼働します。 タスクはタスク定義から作成されます。タスク定義はタスクの金型的な存在で... 続きを読む

はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog

2023/12/29 10 users ステージング環境 はてなブックマーク 技術 AUR インフラ

id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAur... 続きを読む

【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO

2023/12/09 10 users DevelopersIO GuardDuty 検出 設定手順

「ECS(Fargate)のランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ」 「1年の時を経てようやくGAですよ、どすこい！！」 去年のre:Invent2022において、予告だけされていたコンテナ環境のランタイム検知（参考：【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日... 続きを読む

ECSのCI/CD改善と標準化の取り組み / JAWS FESTA 2023 in Kyushu

2023/10/07 39 users CD改善 標準化

https://jft2023.jaws-ug.jp/ の発表資料です 続きを読む

【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS バッチ処理 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

改めてECSのデプロイ方法を整理する - NRIネットコムBlog

2023/09/14 51 users Alb NRIネットコムBlog 前段 梅原 デプロイ方法

こんにちは。梅原です。 今日はECSのデプロイタイプについて改めて整理します。 ECSのデプロイ方法は3つあります。 ローリングアップデート Blue/Greenデプロイ 外部デプロイ の3つです。 この記事ではローリングアップデートとB/Gデプロイについて流れをおさらいします。 ECSの前段にALBを置いた構成を例にします。 ロ... 続きを読む

ECSからS3をマウントしてみた

2023/08/20 17 users

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 Mountpoint for Amazon S3 が発表されました。 Linux から直接 S3 バケットに対して読み書き機能を提供するソフトウェアです。細かく書くと、読み取りと新規ファイル作成を行うものです。 データレイクからファイル... 続きを読む

AWS FargateにおけるAmazon ECS クラスターの効果的な分け方を様々な観点で考えてみた | DevelopersIO

2023/08/03 18 users DevelopersIO クラスター 観点 焦点 ECS on

はじめに AWS Fargateを使用している際に、ECSクラスターをECSサービスごとやECSタスクごとにどのように分けるかに迷うことがありました。 そこで、個人的に複数の観点からクラスターの効果的な分け方を考えてみました。 なお、この記事ではECS on EC2ではなく、ECS on Fargateのみに焦点を当てています。 ECSについて E... 続きを読む

Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog

2023/03/30 14 users KAYAC engineers タスク Blog SRE連載

SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS ... 続きを読む

ECSを動かすEventBridge SchedulerをTerraformで構築してみた - LIVESENSE ENGINEER BLOG

2023/02/27 17 users Terraform JST 曲者 バッチ UTC

こんにちは、インフラストラクチャーグループのyjszkです。2月から入社しました。 リブセンスにはバッチをECSとEventBridge Ruleで動かしている実装があります。EventBridge Ruleがなかなかの曲者で、UTCでしか時間を指定できません。 UTCで指定されたルールはいつ動くのかがわかりづらいですし、JSTでは1つのルールで済... 続きを読む

はてなブログをECSに移行してリリース頻度も改善した話 - Hatena Developer Blog

2022/12/26 12 users プロジ cohalz エントリ AWS ECS インフラ

この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジ... 続きを読む

ECSの新ネットワーク機能「Service Connect」がリリースされました！ | DevelopersIO

2022/11/28 11 users DevelopersIO コンテ 従来 マイクロサービス 名前

ECSでマイクロサービスを実装する場合に必要不可欠な、サービスへの名前によるアクセスとネットワークトラフィック制御。従来あった機能を包含して提供する、強力な新機能の紹介です。 マイクロサービスを実装する時、アプリケーションコード以外にも、他のサービスの健全性把握や名前の管理、それらをどのようにコンテ... 続きを読む

STORES 予約 コンテナ化への道のり 前編 - STORES Product Blog

2022/11/16 13 users stores SRE アーキテクチャ 矢作 道のり

はじめに STORES 予約でSREを担当している矢作です。 STORES 予約では今年(2022年)の9月にアプリケーションを構成する大多数のサーバーをEC2からECSへと移行することでコンテナ化(以降ECS化)しました。 今回はコンテナ化をすることで解決を目指した課題についてや、コンテナ環境でどういったアーキテクチャを構築し、そ... 続きを読む

Amazon ECS で実行するコンテナをローカルでテストする - Qiita

2022/11/07 10 users Qiita amazo 焼き直し コンテナ ご存知

概要 Amazon ECS 上で実行するコンテナをローカルでテストする際ってどうしてます？ すでにご存知の方はバシバシ使われているかもですが、改めて焼き直しということで本ブログを書いていきます。 紹介するツールは、こちらの amazon-ecs-local-container-endpoints と ecs-cli です。 ちなみに ECS ってなにもの？ Amazo... 続きを読む

EKSからECSに移行して開発運用コストの削減を図る - KAYAC engineers' blog

2022/09/29 138 users EKS KAYAC engineers 削減 Blog

SREチームの長田です。 今回はカヤックで運用している「まちのコイン」というプロダクトのアプリケーション基盤を Amazon EKS(以下EKS)からAmazon ECS(以下ECS)に移行したはなしをします。 まちのコインとは coin.machino.co www.kayac.com まちのコインはカヤックが運営している、デジタル地域通貨を使ってその地域のコ... 続きを読む

[神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce | DevelopersIO

2022/07/26 22 users DevelopersIO GuardDuty 挙動 コンテナ

[神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce 神機能が提供されました。EC2やコンテナでマルウェア感染の挙動を検知したら、GuardDutyがマルウェアスキャンを実施できるようになりました。ユーザーが頑張ることが1つ減りました。控えめに言って... 続きを読む

Microsoft Teamsで発生した大規模障害　原因はECSのデプロイと判明

2022/07/26 11 users Microso デプロイ Twitter インシデント 判明

2022年7月21日（現地時間）、「Microsoft Teams」や「Microsoft 365」をはじめ、Microsoftの各種サービスが利用できなくなるインシデントが発生した。Bleeping Computerによれば、この原因はMicrosoftのエンタープライズ構成サービスにあったようだ。 Microsoftは2022年7月21日（現地時間）、「Twitter」などで「Microso... 続きを読む

Lancers本番環境のコンテナ化が完了しました | ランサーズ（Lancers）エンジニアブログ

2022/06/10 15 users Lancers ランサーズ Cro SRE Batch

Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。以下前回のブログから3ヶ月経ちましたが、ついにLancersのBatch、AppサーバーをEC2からECS/Fargateに移行完了しました。 ・LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました Cro... 続きを読む

アソビュー！でのEKSクラスターの今までとこれから - asoview! TECH BLOG

2022/05/30 12 users asoview EKS アソビュー コロナ SREチーム

こんにちは、アソビュー！SREチームのkirimaruです。 コロナも少し落ち着き、皆さんもGWは大いに満喫していたのではないでしょうか。 残念ながら僕は本を読んで引きこもっていましたが......。 以前「アソビュー！がECSではなくEKSを選んだ理由」という内容でランサーズさんとのイベントでお話させていただきました。 sp... 続きを読む

ECSでマルチステージング環境を実現した設計と実装 | PR TIMES 開発者ブログ

2022/04/22 12 users 実装 PR TIMES 設計 開発者ブログ

こんにちは、普段PR TIMES STORY（以下STORY）の開発リーダーをしている岩下(@SardineTa23)です。 PR TIMES STORYは弊社のMissionである「行動者発の情報が、人の心を揺さぶる時代へ」をそのまま体現したようなプロダクトで、「創業ストーリー」や「開発秘話」などの行動者の熱量をそのまま配信して、企業とメディア、生... 続きを読む

Amazon ECSのログストリームを見やすく階層的に整理できるawslogs設定 - Hatena Developer Blog

2021/08/19 14 users SRE awslogs パラメータ コンテナ ログドライバー

こんにちは。SREのid:do-su-0805です。普段はid:do_su_0805として生活しています。 この記事では、Amazon ECS（以下、ECS）でコンテナを動かすとき、ログドライバーとしてawslogsを利用してAmazon CloudWatch Logs（以下、CloudWatch Logs）にログを出力する際に、awslogs-stream-prefixというパラメータには何を設定す... 続きを読む

ECSを運用で使っていて難しいと思った点 - アジャイルSEの憂鬱

2021/08/11 225 users sinsoku_listy アジャイルSE 運用 コンテナ内

ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権... 続きを読む

ECS インフラの変遷 - クックパッド開発者ブログ

2021/08/05 21 users オーケストレータ Docker eagletmt 変遷 しくみ

技術部 SRE グループの鈴木 (id:eagletmt) です。 クックパッドでは Amazon ECS をオーケストレータとして Docker を利用しています。Docker 自体は2014年末から本番環境にも導入を始めていましたが当時はまだ ECS が GA になっておらず、別のしくみを作って運用していました。2015年4月に GA となった ECS の検討と準備... 続きを読む

ECSとローカル間でファイルをコピーしたり、対話形式でrun-taskやexecできるデバッグ特化のCLIツールを作りました

2021/06/10 12 users CLIツール AWS ECS マネコン 対話形式 手間

ただ、人間欲深い生き物でして、実際にaws ecs execute-commandを使い始めると、今度は、 タスクIDをマネコン等で調べるのが手間なので対話形式で選択したい ECSとローカル間でファイルをコピーしたい（scpしたい） などの欲が新たに発生してしまいます。 「探せばそういうことができるツールがあるんじゃないの」とも思... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS バッチ処理 選択肢 Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む