【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS バッチ処理 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

EKSからECSに移行して開発運用コストの削減を図る - KAYAC engineers' blog

2022/09/29 138 users EKS KAYAC engineers 削減 Blog

SREチームの長田です。 今回はカヤックで運用している「まちのコイン」というプロダクトのアプリケーション基盤を Amazon EKS(以下EKS)からAmazon ECS(以下ECS)に移行したはなしをします。 まちのコインとは coin.machino.co www.kayac.com まちのコインはカヤックが運営している、デジタル地域通貨を使ってその地域のコ... 続きを読む

ECSを運用で使っていて難しいと思った点 - アジャイルSEの憂鬱

2021/08/11 225 users sinsoku_listy アジャイルSE 運用 コンテナ内

ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS バッチ処理 選択肢 Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

[AWS][Fargate]ECS Scheduled TasksによるNAT Gatewayの通信費肥大化について – ADACHIN SERVER LABO

2021/04/09 118 users Fargate NAT Gateway 経緯 驚愕 コスト

まずはNAT Gatewayの膨大な通信費を 見てほしい….(驚愕) ECS/FargateでECS Scheduled Tasksを運用していると、NAT Gatewayの通信費が膨大にかかってしまうことがあると思います。今回はこちらをどのようにコストを削減したのかブログしたいと思いますので、ぜひ参考にしてみてください。まずは経緯から！ 経緯 改善する... 続きを読む

メドピア AWS勉強会 ECS編 / MedPeer AWS Seminar ECS - Speaker Deck

2020/10/12 160 users Fargate メドピア Speaker Deck 概念 講師

Transcript AWS勉強会 ECS編 メドピア株式会社 CTO室 SRE 侘美 怜 注意 本資料はメドピア社内で実施した勉強会の資料を外部公開向けに一部修正したものに なります。 講師の説明が無いと理解しづらい図などがありますのでご注意ください。 目的 ECSの仕組み・概念を理解する Fargateとは何かを理解する ECSのスケーリン... 続きを読む

金融系サービスで ECS/Fargateを設計するということ - Speaker Deck

2020/06/24 168 users Fargate Speaker Deck 金融系サービス

৽Ҫ խ໵ .BTBZB�"3"* � ໺ଜ૯߹ݚڀॴ ॴଐ ۚ༥ܥ%9Ϗδωεͷ֤छϦʔμʔ � ϑϧελοΫσΟϕϩούʔͱͯ͠׆ಈ � *�— "84 ($1 L�T 5FSSBGPSN�BOE�6*�69�%FTJHO � �����"1/ 5PQ�&OHJOFFST�� NTZ�� https://booth.pm/ja/items/1866872 $PNNVOJUZ���4/4 $FSUJGJDBUJPO 1VCMJDBUJPO ͸ͯͳϒϩά JTFMFHBOU +"84�6(�ίϯςφࢧ෦ ίϛϡχςΟӡӦ Copyright(C) Nomura Research Institute,... 続きを読む

コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ

2019/10/02 270 users CrowdWorks minamijoyo Docker

はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級の... 続きを読む

Amazon VPC設計時に気をつけたい基本の5のこと ｜ DevelopersIO

2019/08/22 182 users DevelopersIO CIDR VPC RDS 目次

みなさんこんにちは、奥です。 EC2やECS、RDSなどといったサービス利用時にAmazon VPC（以下よりVPC）が合わせて必要になります。 VPCの設計はCIDRとテナンシーの選択のみとシンプルですが、案外迷ってしまいます。 私が設計時に気をつけている5点をまとめてみました。 目次 RFC1918準拠のIPアドレス範囲から指定する IP... 続きを読む

迷える子羊に捧げるコンテナ環境徹底比較　〜ECS、Fargate、EKSは何が得意で不得意か〜 - Speaker Deck

2019/04/06 167 users EKS Fargate AWS コンテナ 東京リージョン

「いったい、どれつかったら良いねん…」 2018年12月20日、遂に東京リージョンにEKSがやってきました。これにより、AWSにおいてコンテナを本番運用するための選択肢はさらに広がりました。 ただ、選択肢が広がったことで、どれが自分の組織に最適なのか悩まれるお客様も増えています。 このセッションでは、2019年4月時点... 続きを読む

ECSでごっつ簡単に機密情報を環境変数に展開できるようになりました！ ｜ DevelopersIO

2018/11/19 205 users DevelopersIO Tori toricls 環境変数

これでついにあんな秘密やこんな秘密をコンテナに渡しやすくなりますね — ポジティブな Tori (@toricls) 2018年11月16日 先日のアップデートで、ECSコンテナ内への機密情報の受け渡しが非常に簡単になりました。 従来は機密情報の展開にアプリケーション側での処理が必要だったものが、マネージドな仕組みで実現可能とな... 続きを読む

ECSのバックエンドをEC2からFargateに変更するにあたり知っておくとよさそうな事 - コネヒト開発者ブログ

2018/09/05 181 users Fargate 永井 ＥＣ タスク定義 インフラエンジニア

こんにちは。インフラエンジニアの永井(shnagai)です。 これまでEC2バックエンドでECSを運用してきたが、Fargateを採用するにあたり、EC2バックエンド時と比べた差分についてまとめてみました。 内容は、ざっくり下記5項目について。 NW(awsvpc) タスク定義 サービス AutoScalling メトリクス/ログ Fargateをやってみた... 続きを読む

Rails × ECS でオートスケーリング＆検証環境の自動構築 - メドピア開発者ブログ

2018/06/19 168 users Rails マリオカート カープ 医師 メドピア開発者ブログ

マリオカートでカーブを曲がるときに体を傾斜させてしまうCTO室 kenzo0107 です。 今回は 2018/04/02 にリニューアルしたイシコメの Rails × ECS についてです。 イシコメとは？ 「イシコメ」は、医師10万人の声でつくるヘルスケアメディアです。 医師と一般の方々をつなげることで、医療情報格差を埋めることを目指して... 続きを読む

Rails × ECS でオートスケーリング＆検証環境の自動構築 - メドピア開発者ブログ

2018/06/19 168 users Rails マリオカート カープ 医師 メドピア開発者ブログ

マリオカートでカーブを曲がるときに体を傾斜させてしまうCTO室 kenzo0107 です。 今回は 2018/04/02 にリニューアルしたイシコメの Rails × ECS についてです。 イシコメとは？ 「イシコメ」は、医師10万人の声でつくるヘルスケアメディアです。 医師と一般の方々をつなげることで、医療情報格差を埋めることを目指して... 続きを読む

AWSはなぜ、ECSがあるのにKubernetesのサービスを始めたのか、コックロフト氏に聞いた：AWSとオープンソース（1） - ＠IT

2018/06/11 115 users Kubernetes AWS 前半 インタビュー 同社

AWSとオープンソース（1）： AWSはなぜ、ECSがあるのにKubernetesのサービスを始めたのか、コックロフト氏に聞いた Amazon Web Servicesが、オープンソースへの取り組みを強めている。同社は具体的に、何をどのようにやろうとしているのか。AWSクラウドアーキテクチャ戦略バイスプレジデントのエイドリアン・コックロフト氏へのインタビューを、2回に分けてお届けする。前半では特に... 続きを読む

EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？

2018/03/12 205 users awa Writer 音楽ストリーミングサービス インフラ

EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ WRITER: prog893 サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「 AWA 」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、 データベースの復旧時間が12時間から55分まで短縮 できた話を紹介しましたが... 続きを読む

会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと · カウル Tech Blog

2017/11/06 280 users Docker AWS エンジニア アプリケーション群 西辻

エンジニアの @macs_6 です。 このブログでは社内の AWS EC2上で運用しているアプリケーション群をECS移行したプロジェクト について紹介します。 ローカルの開発環境をDockerした話は以前の記事( 複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる )で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課... 続きを読む

RailsアプリをECSで運用するまでにやったこと、これからしていくこと - スパイスな人生

2017/07/06 272 users Emoji Railsアプリ スパイス 人生

2017 - 07 - 06 RailsアプリをECSで運用するまでにやったこと、これからしていくこと Ruby on Rails aws docker ECS おはようございます。一番よく使うemojiは 続きを読む

ECSを使ってPR毎に確認環境を構築する社内ツールをOSSで開発してます！ - Speee DEVELOPER BLOG

2017/05/15 107 users OSS 森岡 ECS上 社内ツール

2017 - 05 - 15 ECSを使ってPR毎に確認環境を構築する社内ツールをOSSで開発してます！ Tweet Speee開発基盤部、兼ヌリカエエンジニアの 森岡 です。 今回は、ECSを使ってPR毎に確認環境を構築する社内ツールである webapp-revieee をOSSとして公開しましたので、そのご紹介をさせて頂きます。 作ったもの PRを作ると、そのPRに対応した確認環境がECS上に... 続きを読む

新卒１年目がバッチサーバーにECSを使ってDockerを導入した話 | feedforce Story

2017/04/18 121 users Docker パッチサーバー 新卒1年目

こんにちは！株式会社フィードフォース新卒エンジニアの @yosuke0315 です。最近は 会社から支給されたMacBookProのTouchBarにsushiを流したり しています。 フィードフォースには新しい技術に積極的に挑戦できるような環境があります。そして、挑戦した結果がよいものであれば、本番環境でもガンガン使われます。 若手も新卒も関係無く、全てのエンジニアがその挑戦権を持っています。 ... 続きを読む

Amazon Linuxがコンテナ化されたので、Macで動かしてみた。 - Qiita

2016/11/02 334 users Qiita AWS Docker blogs Mac

cloudpack大阪の佐々木です。 Amazon Linuxがコンテナ化され、ECSでもオンプレのDockerでも動かせるようになったようです。 https://aws.amazon.com/jp/blogs/aws/new-amazon-linux-container-image-for-cloud-and-on-premises-workloads/ 早速やってみます。 AmazonLinu... 続きを読む

MySQLを１〜２時間でスケールアウトする - クックパッド開発者ブログ

2016/10/05 622 users MySQL スケール スレーブ SREチーム 菅原

2016 - 10 - 06 MySQLを１〜２時間でスケールアウトする 最近、Elastic BeanstalkやECSと戦っているSREチームの 菅原 です。 P5をやりたいのにPS3もPS4も持っていないので指をくわえて羨ましがっている毎日です。 この記事では、突然のアクセス増に備えるために、MySQLのスレーブを１〜２時間でスケールアウトできるようにした話を書きます。 MySQL on E... 続きを読む

Docker と ECS と WebSocket で最強のリアルタイム・マルチプレイ環境を運用 | GREE Engineers' Blog

2016/06/10 185 users バックボーン WebSocket Docker プレイヤー

概要 AWS ECS でマルチプレイゲーム用インスタンスの管理すると限りなく最強。 はじめに リアルタイム・マルチプレイゲームを作る時、まず考えられることは、あるプレイヤーの行動や状態が他のプレイヤーに伝わることではないかと思われます。しかし、スマートフォンアプリは不安定であったり、複数端末同士で(基地局やバックボーンを介さずに)物理的に直接接続することは出来ませんし、理論的にできたとしても、 だ... 続きを読む

Rails アプリの Docker Image ビルドと Amazon EC2 Container Service へのデプロイの自動化 - Atsushi Nagase

2015/09/13 176 users Rails デプロイ Atsushi Nagase インフラ

現在構築中のサービスの Rails アプリケーションのインフラとして、Amazon EC2 Container Service (ECS) を採用し、自動化を頑張ってみた内容を公開します。 サンプルコード、Docker Image はそれぞれ、以下で公開しています。 ngs/docker-rails-example on GitHub atsnngs/docker-rails-example on... 続きを読む

Docker入門 - 基礎編　いまから始めるDocker管理

2015/07/07 589 users Docker入門 Docker管理 基礎編 Inc

Transcript 1. Docker入門-基礎編 いまから始めるDocker管理 v1.01 JAWS-UG CLI専門支部 #23 - ECS 入門 2015年7月6日(月) @zembutsu Technology Evangelist; Creationline, Inc. Introduction to docker, basic management and operations 背... 続きを読む