バッチ処理 プラクティス

2021/12/15 921 users プラクティス ナレッジ 先人 筆者 文章

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身... 続きを読む

バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog

2019/02/27 741 users Mercari Engineering Blog 設計

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指し... 続きを読む

記者の眼 - 京都市がシステム刷新失敗、「悲劇を繰り返すな」とご意見番：ITpro

2017/12/11 720 users ITpro マイグレーション システムズ 全会一致 提起

京都市が2014年から81億円を投じて進めていた基幹系システム刷新プロジェクトが失敗した事案が、ついに訴訟合戦に突入する。2017年12月8日、京都市議会（京都市会）は門川大作市長名義で提出された 訴えの提起 を全会一致で 可決した 。刷新が遅延した原因となったバッチ処理のマイグレーション（開発言語と業務ロジックを引き継ぐ移行）を受託したITベンダーのシステムズ（東京・品川）に対する訴えである。 ... 続きを読む

コードレビューの高まった言葉 - 職質アンチパターン

2016/08/02 522 users 職質アンチパターン コードレビュー まっちょ 言葉 意味合い

2016 - 08 - 02 コードレビューの高まった言葉 最近自分がコードレビューで使いがち，あるいは表立って使ってないんだけど内心評す時に使う言葉が色々とあり，まとめてみることとした．参考にしない方が良いと思う． 左は言葉，右は説明． 屈強 - コードが力強い時に使う．例えば長い一枚 スクリプト とか，コメントが一切ない バッチ処理 とか．やや批判的な意味合いで使うことが多い． マッチョ - ... 続きを読む

Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

2016/02/17 857 users コンポツさん トリガー 障害 設計 想像

バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざ バッチ処理 を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理 というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理して... 続きを読む

安全なバッチ処理の作り方 | tech.kayac.com - KAYAC engineers' blog

2011/10/05 773 users タイヤ 途中 アクション 特定 KAYAC engineers

このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの... 続きを読む

写真の印象を一気に激変させて美しくするPhotoshopのお役立ちアクション61種類 - GIGAZINE

2009/01/07 1070 users 見栄え 一連 GIGAZINE アクション 手順

Photoshopの一連の手順（画像のサイズを変更し、画像に効果を適用し、ファイルを目的の形式で保存するなど）を記録し、次回以降は一発でできるようにしてくれる自動作業機能のことを「アクション」と呼びます。このアクションを使えば、大量の画像をまとめてバッチ処理したり、いろいろと便利なわけですが、今回は写真の見栄えを美しくしたり、違う印象を与えるように加工するアクション61種類です。かなり便利なものが... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む