【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS ECS 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

AWS でバッチ処理・定期実行する4つの方法

2023/03/31 203 users AWS 選択肢 定期 メリット それぞれ特徴

AWS でバッチ処理・定期実行する4つの方法 AWS上でバッチ処理を行う場合に、 どのサービスが選択肢として考えられるか どのサービスを選択すればいいのか について考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。... 続きを読む

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

2022/03/19 460 users MySQL shallow インフラ shallow1729

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました... 続きを読む

バッチ処理 プラクティス

2021/12/15 921 users プラクティス ナレッジ 先人 筆者 文章

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身... 続きを読む

AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

2021/11/15 151 users 構築 AWSソリューションアーキテクト 組織 基礎 多く

Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。 バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理する... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS 選択肢 ECS Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck cron レガシー バッチ 大倉

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

AWSジャパン、クラウドエンジニア向けのWebマガジン「builders flash」開始。登録者には限定ワークショップなど特典も提供 － Publickey

2020/02/04 223 users プログラマ モダンアプリケーション 排除 Publickey

AWSジャパンは、クラウドを活用するプログラマやエンジニアのためのWebマガジン「builders flash」の公開を開始しました。 毎月新たな記事が公開される予定で、現時点では「バッチ処理のコンテナ化によって手に入れた業務効率化の実現と属人化の排除。その方法とは ?」「モダンアプリケーションにおける代表的な設計パタ... 続きを読む

チームで機能設計するためのPlantUML標準化 | Future Tech Blog - フューチャーアーキテクト

2020/02/03 400 users フューチャーアーキテクト UML WebAPI チーム 一環

はじめに現在所属しているプロジェクトではWebAPIやバッチ処理の設計の一環としてPlantUMLを利用しています。効率よく品質高くアウトプットを出すためには、プログラミング言語に対してコーディング規約があるように、UMLに対してもチームで設計するにあたり一定のルールを決める必要があります。 そこでプロジェクト内... 続きを読む

バッチ処理について考える - Qiita

2020/01/11 378 users Qiita Problem Twitter ショボイ ひとくち

Help us understand the problem. What is going on with this article? TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思っ... 続きを読む

京都市が基幹系刷新で2度目の失敗、2020年1月の予定だった稼働時期が「未定」に | 日経 xTECH（クロステック）

2019/12/27 272 users 収束 キヤノンITS キヤノンITソリューションズ 延期 品質

延期の原因は新福祉系システムのバッチ処理で生じている「不具合の収束が本年中に見込めないこと」（総合企画局の資料）である。開発ベンダーであるキヤノンITソリューションズ（キヤノンITS）は2019年12月13日、京都市に対し「ほとんどの評価項目に残課題があり、2020年1月の本番稼働の品質に満たないため、品質確認の... 続きを読む

バッチ処理をAWS Batchを利用して本番運用してみた

2019/03/04 194 users AWS Batch OPENREC.tv 石田 インフラ 基盤

こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ... 続きを読む

バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog

2019/02/27 741 users Mercari Engineering Blog 設計

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指し... 続きを読む

バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記

2018/12/17 425 users watson1978 処理 日記 一部 分以上

Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘... 続きを読む

Slack、全ユーザーが接続できなくなった大規模障害の原因はバッチ処理にバグがあったためと報告 － Publickey

2018/07/01 108 users Publickey Slack ステータスページ パク 原因

チャットサービスを提供するSlackは、太平洋夏時間の6月27日午前6時30分（日本時間6月27日午後10時30分）頃から約3時間、全てのユーザーでSlackが利用できなくなる深刻な障害に見舞われました。 同社はその後、障害についての報告をステータスページに掲載。障害の原因が、データのバッチ処理に含まれていたバグであった... 続きを読む

京都市の基幹系システム刷新失敗、仕切り直しはキヤノンITSが15億円で落札 | 日経 xTECH（クロステック）

2018/03/27 244 users 両者 キヤノンITソリューションズ 入札結果 基幹系システム

この記事は日経 xTECH登録会員限定ですが、2018年3月28日20時まではどなたでもご覧いただけます。 京都市は2018年3月27日、NEC製メインフレーム上で約30年稼働する基幹系システムのバッチ処理をオープンシステムに刷新するプロジェクトについて、入札結果をWebサイトで公表した。総合評価方式でキヤノンITソリューションズが落札した。両者は2020年1月からの本稼働を目指す。 15億324... 続きを読む

ニュース - 三菱UFJニコスのシステム障害の原因が判明、3個のHDDが同時に故障：ITpro

2018/02/08 400 users 一連 ITpro 広報 自動復旧 三菱UFJニコス

マスターデータから中間加工ファイルを作成するバッチ処理のシステムでHDDが故障し、障害が発生した。三菱UFJニコスによれば、HDD15個で一連の機能を果たしており、そのうち3個が同時に故障した。「2個までの同時障害は自動復旧可能な仕組みを設けていたが、3個の故障は想定外だった」（広報）。同社はシステムやHDDの開発企業を明らかにしていないものの、「発生確率は極めて低いとの報告を受けている」という。... 続きを読む

記者の眼 - 京都市がシステム刷新失敗、「悲劇を繰り返すな」とご意見番：ITpro

2017/12/11 720 users ITpro マイグレーション システムズ 全会一致 提起

京都市が2014年から81億円を投じて進めていた基幹系システム刷新プロジェクトが失敗した事案が、ついに訴訟合戦に突入する。2017年12月8日、京都市議会（京都市会）は門川大作市長名義で提出された 訴えの提起 を全会一致で 可決した 。刷新が遅延した原因となったバッチ処理のマイグレーション（開発言語と業務ロジックを引き継ぐ移行）を受託したITベンダーのシステムズ（東京・品川）に対する訴えである。 ... 続きを読む

Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

2017/09/13 148 users Dockerベース Docker shnagai cron

2017 - 09 - 13 Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 Tweet こんにちは。インフラエンジニアの永井( shnagai )です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのS... 続きを読む

【Python】データサイエンティストのためのPython開発記事紹介 - 歩いたら休め

2016/11/15 210 users Python 予行練習 データサイエンティスト 後輩 数値計算

2016 - 11 - 16 【Python】データサイエンティストのためのPython開発記事紹介 Python 後輩が 数値計算 を使う、簡単な バッチ処理 を Python で書き始めました。 一応私も Python の知識ならそれなりにあるのでいろいろ教えられることは（まだ）あります。 そのための予行練習としていろいろまとめておきます。 正直、自分よりもっと 数値計算 やプログラミングに関... 続きを読む

コードレビューの高まった言葉 - 職質アンチパターン

2016/08/02 522 users 職質アンチパターン コードレビュー まっちょ 言葉 意味合い

2016 - 08 - 02 コードレビューの高まった言葉 最近自分がコードレビューで使いがち，あるいは表立って使ってないんだけど内心評す時に使う言葉が色々とあり，まとめてみることとした．参考にしない方が良いと思う． 左は言葉，右は説明． 屈強 - コードが力強い時に使う．例えば長い一枚 スクリプト とか，コメントが一切ない バッチ処理 とか．やや批判的な意味合いで使うことが多い． マッチョ - ... 続きを読む

続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

2016/02/18 368 users コンポツさん 障害 設計 想像 不測

2016 - 02 - 19 続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 バッチ処理 というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、 先日のブログ で述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考... 続きを読む

Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

2016/02/17 857 users コンポツさん トリガー 障害 設計 想像

バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざ バッチ処理 を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理 というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理して... 続きを読む

Ruby 製バッチ処理を省メモリ化した - 彼女からは、おいちゃんと呼ばれています

2015/07/26 196 users オトナ 周知 おいちゃん 当該動画 事情

2015-07-26 Ruby 製バッチ処理を省メモリ化した Ruby 少し前に Ruby 製のバッチ処理を省メモリ化したときの話をメモしておきます。 どのようなバッチ処理だったか 動画共有サイトにアップされた動画がオトナの事情によって削除されることがしばしばあるということは周知のことだと思う。そこで、一定時間おきに配信元サイトをチェックして、もし動画が配信元から削除されていたら、当該動画をこちら... 続きを読む

PCが入るバッグを検索するWEBサービスを作りました - 下町柚子黄昏記

2015/07/15 198 users 下町柚子黄昏記 スクレイピング バック WEBサービス 練習

2015-07-16 PCが入るバッグを検索するWEBサービスを作りました 作りました HileSearch Rails 概要 HileSearch（ハイルサーチ）というサービスをリリースしました。 バッチ処理とスクレイピングの練習がてらRailsアプリを作ってみました。 もくじ どんなサービスか どうやって使うのか なぜ作ったのか どうやって作ったのか 思ったこと どんなサービスか 持ち運びたい... 続きを読む