【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS ECS 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

AWS でバッチ処理・定期実行する4つの方法

2023/03/31 203 users AWS 選択肢 定期 メリット それぞれ特徴

AWS でバッチ処理・定期実行する4つの方法 AWS上でバッチ処理を行う場合に、 どのサービスが選択肢として考えられるか どのサービスを選択すればいいのか について考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。... 続きを読む

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

2022/03/19 460 users MySQL shallow インフラ shallow1729

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました... 続きを読む

バッチ処理 プラクティス

2021/12/15 921 users プラクティス ナレッジ 先人 筆者 文章

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身... 続きを読む

AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

2021/11/15 151 users 構築 AWSソリューションアーキテクト 組織 基礎 多く

Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。 バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理する... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS 選択肢 ECS Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck cron レガシー バッチ 大倉

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

AWSジャパン、クラウドエンジニア向けのWebマガジン「builders flash」開始。登録者には限定ワークショップなど特典も提供 － Publickey

2020/02/04 223 users プログラマ モダンアプリケーション 排除 Publickey

AWSジャパンは、クラウドを活用するプログラマやエンジニアのためのWebマガジン「builders flash」の公開を開始しました。 毎月新たな記事が公開される予定で、現時点では「バッチ処理のコンテナ化によって手に入れた業務効率化の実現と属人化の排除。その方法とは ?」「モダンアプリケーションにおける代表的な設計パタ... 続きを読む

チームで機能設計するためのPlantUML標準化 | Future Tech Blog - フューチャーアーキテクト

2020/02/03 400 users フューチャーアーキテクト UML WebAPI チーム 一環

はじめに現在所属しているプロジェクトではWebAPIやバッチ処理の設計の一環としてPlantUMLを利用しています。効率よく品質高くアウトプットを出すためには、プログラミング言語に対してコーディング規約があるように、UMLに対してもチームで設計するにあたり一定のルールを決める必要があります。 そこでプロジェクト内... 続きを読む

バッチ処理について考える - Qiita

2020/01/11 378 users Qiita Problem Twitter ショボイ ひとくち

Help us understand the problem. What is going on with this article? TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思っ... 続きを読む

京都市が基幹系刷新で2度目の失敗、2020年1月の予定だった稼働時期が「未定」に | 日経 xTECH（クロステック）

2019/12/27 272 users 収束 キヤノンITS キヤノンITソリューションズ 延期 品質

延期の原因は新福祉系システムのバッチ処理で生じている「不具合の収束が本年中に見込めないこと」（総合企画局の資料）である。開発ベンダーであるキヤノンITソリューションズ（キヤノンITS）は2019年12月13日、京都市に対し「ほとんどの評価項目に残課題があり、2020年1月の本番稼働の品質に満たないため、品質確認の... 続きを読む

お急ぎ振込の締め処理バッチの事例で見ていく バッチ処理の設計結果 - Mercari Engineering Blog

2019/03/20 85 users Mercari Engineering Blog 事例

こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 今回は、前回の記事でお話したことを踏まえ、私が開発を担当して実際に動いているバッチプログラム「お急ぎ振込 締め処理バッチ(以下、締め処理バッチ)」について、述べていきます。 tech.mercari.com 本記事では、「締め処理バッ... 続きを読む

バッチ処理をAWS Batchを利用して本番運用してみた

2019/03/04 194 users AWS Batch OPENREC.tv 石田 インフラ 基盤

こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ... 続きを読む

バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog

2019/02/27 741 users Mercari Engineering Blog 設計

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指し... 続きを読む

バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記

2018/12/17 425 users watson1978 処理 日記 一部 分以上

Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘... 続きを読む

Fargateがタスクスケジュールをサポートし定期実行処理の幅が超広がりました！ ｜ Developers.IO

2018/08/30 81 users ハマコー タスクスケジュール Fargate ライブ 一日千秋

「せっかく、EC2インスタンスを気にしなくてよいFargateなんだから、もっとバッチ処理で気軽に使いたいよね」 そんなハマコーの一日千秋の想いが届いたのか突如として、Fargateにごついアップデートが舞い降りました。 AWS Fargate Now Supports Time and Event-Based Task Scheduling 今まで、「AWS Lambdaでは、ライブ... 続きを読む

Slack、全ユーザーが接続できなくなった大規模障害の原因はバッチ処理にバグがあったためと報告 － Publickey

2018/07/01 108 users Publickey Slack ステータスページ パク 原因

チャットサービスを提供するSlackは、太平洋夏時間の6月27日午前6時30分（日本時間6月27日午後10時30分）頃から約3時間、全てのユーザーでSlackが利用できなくなる深刻な障害に見舞われました。 同社はその後、障害についての報告をステータスページに掲載。障害の原因が、データのバッチ処理に含まれていたバグであった... 続きを読む

京都市の基幹系システム刷新失敗、仕切り直しはキヤノンITSが15億円で落札 | 日経 xTECH（クロステック）

2018/03/27 244 users 両者 キヤノンITソリューションズ 入札結果 基幹系システム

この記事は日経 xTECH登録会員限定ですが、2018年3月28日20時まではどなたでもご覧いただけます。 京都市は2018年3月27日、NEC製メインフレーム上で約30年稼働する基幹系システムのバッチ処理をオープンシステムに刷新するプロジェクトについて、入札結果をWebサイトで公表した。総合評価方式でキヤノンITソリューションズが落札した。両者は2020年1月からの本稼働を目指す。 15億324... 続きを読む

AWS Batch + Golangでサーバレスなバッチ処理をしてみる ｜ Developers.IO

2018/02/19 51 users サーバレス バイナリファイル golang Lambda 候補

はじめに サーバレスなバッチ処理を行うことを考えると候補としてAWS Lambdaが上がってくるかと思います。ですがLambdaには執筆時現在、5分でタイムアウトするという制限があります。 そこで今回、AWS Batchを使用してタイムアウトを気にせずに行うバッチ処理を実装してみました。 実装した処理について Golangでバッチ処理を実装して実行ファイル(バイナリファイル)を作成します。作成した... 続きを読む

ニュース - 三菱UFJニコスのシステム障害の原因が判明、3個のHDDが同時に故障：ITpro

2018/02/08 400 users 一連 ITpro 広報 自動復旧 三菱UFJニコス

マスターデータから中間加工ファイルを作成するバッチ処理のシステムでHDDが故障し、障害が発生した。三菱UFJニコスによれば、HDD15個で一連の機能を果たしており、そのうち3個が同時に故障した。「2個までの同時障害は自動復旧可能な仕組みを設けていたが、3個の故障は想定外だった」（広報）。同社はシステムやHDDの開発企業を明らかにしていないものの、「発生確率は極めて低いとの報告を受けている」という。... 続きを読む

記者の眼 - 京都市がシステム刷新失敗、「悲劇を繰り返すな」とご意見番：ITpro

2017/12/11 720 users ITpro マイグレーション システムズ 全会一致 提起

京都市が2014年から81億円を投じて進めていた基幹系システム刷新プロジェクトが失敗した事案が、ついに訴訟合戦に突入する。2017年12月8日、京都市議会（京都市会）は門川大作市長名義で提出された 訴えの提起 を全会一致で 可決した 。刷新が遅延した原因となったバッチ処理のマイグレーション（開発言語と業務ロジックを引き継ぐ移行）を受託したITベンダーのシステムズ（東京・品川）に対する訴えである。 ... 続きを読む

Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

2017/09/13 148 users Dockerベース Docker shnagai cron

2017 - 09 - 13 Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 Tweet こんにちは。インフラエンジニアの永井( shnagai )です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのS... 続きを読む

AWSサービスを用いた今後のバッチ処理のお話〜開発本部・TechLunch〜 - MEDLEYオフィシャルブログ

2017/03/21 81 users MEDLEYオフィシャルブログ TechLunch めど

2017 - 03 - 21 AWSサービスを用いた今後のバッチ処理のお話〜開発本部・TechLunch〜 オンライン診療アプリ「 CLINICS 」を開発している田中です。 本日は、メドレー開発本部にて隔週で行われている勉強会（TechLunch）で、今後の バッチ処理 構成の1つとして活用できそうな AWS サービスの紹介を行ったので、その一部を紹介したいと思います。 背景と勉強会の目的 メド... 続きを読む

AWS Batchの基本的な機能とユースケースについて ｜ Developers.IO

2016/12/02 55 users Developers.IO AWS Batch 機能 ジョブ

バッチ処理 世の中のITシステムのほとんどは、データが発生し、流れて、処理し、蓄積されるジョブの繰り返しです。AWS Batchは、このようなバッチジョブを効率的におこなうための管理サービスです。Pegasus WMS、Cromwell、Luigiといった主要なワークフローエンジンをサポートしています。実際のジョブの実行は、EC2やSpotインスタンスが動的にアサインされて実行されます。 データフ... 続きを読む

［速報］「AWS Batch」発表。AWS上でスケーラブルなバッチ処理を実現。AWS re:Invent 2016 － Publickey

2016/12/01 62 users マネージドサービス Publickey 演算 ラスベガス 速報

Amazon Web Servicesはラスベガスで開催中の年次イベント「AWS re:Invent 2016」において、バッチ処理のマネージドサービス「AWS Batch」を発表しました。 金融サービスやライフサイエンス、デジタルメディアなどでは膨大な演算をAWS上で行っているお客様がいると、Amazon.com CTOのWerner Vogels氏。 こうした膨大なデータ処理にはバッチ処理が用... 続きを読む