写真の印象を一気に激変させて美しくするPhotoshopのお役立ちアクション61種類 - GIGAZINE

2009/01/07 1070 users 見栄え 一連 GIGAZINE アクション 手順

Photoshopの一連の手順（画像のサイズを変更し、画像に効果を適用し、ファイルを目的の形式で保存するなど）を記録し、次回以降は一発でできるようにしてくれる自動作業機能のことを「アクション」と呼びます。このアクションを使えば、大量の画像をまとめてバッチ処理したり、いろいろと便利なわけですが、今回は写真の見栄えを美しくしたり、違う印象を与えるように加工するアクション61種類です。かなり便利なものが... 続きを読む

バッチ処理 プラクティス

2021/12/15 921 users プラクティス ナレッジ 先人 筆者 文章

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身... 続きを読む

Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

2016/02/17 857 users コンポツさん トリガー 障害 設計 想像

バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざ バッチ処理 を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理 というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理して... 続きを読む

安全なバッチ処理の作り方 | tech.kayac.com - KAYAC engineers' blog

2011/10/05 773 users タイヤ 途中 アクション 特定 KAYAC engineers

このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの... 続きを読む

バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog

2019/02/27 741 users Mercari Engineering Blog 設計

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指し... 続きを読む

記者の眼 - 京都市がシステム刷新失敗、「悲劇を繰り返すな」とご意見番：ITpro

2017/12/11 720 users ITpro マイグレーション システムズ 全会一致 提起

京都市が2014年から81億円を投じて進めていた基幹系システム刷新プロジェクトが失敗した事案が、ついに訴訟合戦に突入する。2017年12月8日、京都市議会（京都市会）は門川大作市長名義で提出された 訴えの提起 を全会一致で 可決した 。刷新が遅延した原因となったバッチ処理のマイグレーション（開発言語と業務ロジックを引き継ぐ移行）を受託したITベンダーのシステムズ（東京・品川）に対する訴えである。 ... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む

コードレビューの高まった言葉 - 職質アンチパターン

2016/08/02 522 users 職質アンチパターン コードレビュー まっちょ 言葉 意味合い

2016 - 08 - 02 コードレビューの高まった言葉 最近自分がコードレビューで使いがち，あるいは表立って使ってないんだけど内心評す時に使う言葉が色々とあり，まとめてみることとした．参考にしない方が良いと思う． 左は言葉，右は説明． 屈強 - コードが力強い時に使う．例えば長い一枚 スクリプト とか，コメントが一切ない バッチ処理 とか．やや批判的な意味合いで使うことが多い． マッチョ - ... 続きを読む

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

2022/03/19 460 users MySQL shallow インフラ shallow1729

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました... 続きを読む

LINEの「インターン生の月給40万円」がお仕事中の社会人を動揺させる : 市況かぶ全力２階建

2014/06/12 446 users 市況かぶ全力２階建 インターン生 line チューター 社会人

自分もチューターやります。うちのデータでやってみたいバッチ処理とかストリーム処理とか分析とか抱えてる学生さんとかいたらちょう来てほしい！！！ / “"LINE Summer Internship 2014"募集開始！ : LINE…” http://t.co/udH0sfGAAl— tagomoris (@tagomoris) 2014, 6月 12 ガバッ! 40万!!— git blame (... 続きを読む

Ruby - ActiveRecordを速くしたいだけの人生だった - Qiita

2015/04/14 434 users ActiveRecord Qiita 最初 Ruby 人生

Rails3.2からRails4.2に上げたらActiveRecordが遅くなったので、どうやって調査して、どのように対処したかを語ってみたい。 とても長いので、ダルい人は最初と最後だけ読めばよいです。 TL;DR 環境: Ruby 2.1.5 ARオブジェクトを大量に(ざっくり750kくらい)loadするバッチ処理 3.2系での実行時間は約480sec、 4.2系では約2900sec 約6倍の性... 続きを読む

バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記

2018/12/17 425 users watson1978 処理 日記 一部 分以上

Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘... 続きを読む

チームで機能設計するためのPlantUML標準化 | Future Tech Blog - フューチャーアーキテクト

2020/02/03 400 users フューチャーアーキテクト UML WebAPI チーム 一環

はじめに現在所属しているプロジェクトではWebAPIやバッチ処理の設計の一環としてPlantUMLを利用しています。効率よく品質高くアウトプットを出すためには、プログラミング言語に対してコーディング規約があるように、UMLに対してもチームで設計するにあたり一定のルールを決める必要があります。 そこでプロジェクト内... 続きを読む

ニュース - 三菱UFJニコスのシステム障害の原因が判明、3個のHDDが同時に故障：ITpro

2018/02/08 400 users 一連 ITpro 広報 自動復旧 三菱UFJニコス

マスターデータから中間加工ファイルを作成するバッチ処理のシステムでHDDが故障し、障害が発生した。三菱UFJニコスによれば、HDD15個で一連の機能を果たしており、そのうち3個が同時に故障した。「2個までの同時障害は自動復旧可能な仕組みを設けていたが、3個の故障は想定外だった」（広報）。同社はシステムやHDDの開発企業を明らかにしていないものの、「発生確率は極めて低いとの報告を受けている」という。... 続きを読む

バッチ処理を再考する - 急がば回れ、選ぶなら近道

2012/11/25 386 users 近道 SQL 某プロジェクト 衝撃 本人

最近そもそもバッチ処理というものを知らない人達を見ることが多くなりました。某プロジェクトで「いや、ストプロってよくわからないんですよ。最近書いたことないし。」という話をずーっと聞いていたのですが、本人はバッチ処理という意味で話していたことが後から判明した、ということがありました。 ああ、この人はSQLでのバッチ処理しか知らないのですね、とちょっと衝撃ではありました。とうとうそーゆー時代になったかと... 続きを読む

バッチ処理について考える - Qiita

2020/01/11 378 users Qiita Problem Twitter ショボイ ひとくち

Help us understand the problem. What is going on with this article? TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思っ... 続きを読む

続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

2016/02/18 368 users コンポツさん 障害 設計 想像 不測

2016 - 02 - 19 続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 バッチ処理 というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、 先日のブログ で述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考... 続きを読む

バッチ処理について再考 - プログラマになりたい

2015/02/12 355 users 再考 プログラマ Wikipedia リソース 利点

2015-02-13 バッチ処理について再考 メモ 作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS 選択肢 ECS Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

2012/05/09 299 users 統計 百家争鳴 ASCII.jp ビッグデータ 基礎

Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではな... 続きを読む

JP Morgan Chaseがデリバティブ専用スパコンをFPGAで作った話 #fpgax - スティルハウスの書庫

2013/09/02 290 users fpgax FPGA 書庫 ＨＦＴ スティルハウス

FPGA金融系でFPGAというとHFTへの応用が知られてるけど、この事例はリアルタイムトレードの話ではない。金融業務で必要とされるバッチ処理やHPC（High Performance Computing）でもFPGAが本格的に使われ始めてるという話だ。元ネタは、2011年にJP Morgan Chaseの人がスタンフォード大学で講演した内容。このビデオを見ていたらとっっっても面白かったので、 #f... 続きを読む

京都市が基幹系刷新で2度目の失敗、2020年1月の予定だった稼働時期が「未定」に | 日経 xTECH（クロステック）

2019/12/27 272 users 収束 キヤノンITS キヤノンITソリューションズ 延期 品質

延期の原因は新福祉系システムのバッチ処理で生じている「不具合の収束が本年中に見込めないこと」（総合企画局の資料）である。開発ベンダーであるキヤノンITソリューションズ（キヤノンITS）は2019年12月13日、京都市に対し「ほとんどの評価項目に残課題があり、2020年1月の本番稼働の品質に満たないため、品質確認の... 続きを読む

京都市の基幹系システム刷新失敗、仕切り直しはキヤノンITSが15億円で落札 | 日経 xTECH（クロステック）

2018/03/27 244 users 両者 キヤノンITソリューションズ 入札結果 基幹系システム

この記事は日経 xTECH登録会員限定ですが、2018年3月28日20時まではどなたでもご覧いただけます。 京都市は2018年3月27日、NEC製メインフレーム上で約30年稼働する基幹系システムのバッチ処理をオープンシステムに刷新するプロジェクトについて、入札結果をWebサイトで公表した。総合評価方式でキヤノンITソリューションズが落札した。両者は2020年1月からの本稼働を目指す。 15億324... 続きを読む

AWSジャパン、クラウドエンジニア向けのWebマガジン「builders flash」開始。登録者には限定ワークショップなど特典も提供 － Publickey

2020/02/04 223 users プログラマ モダンアプリケーション 排除 Publickey

AWSジャパンは、クラウドを活用するプログラマやエンジニアのためのWebマガジン「builders flash」の公開を開始しました。 毎月新たな記事が公開される予定で、現時点では「バッチ処理のコンテナ化によって手に入れた業務効率化の実現と属人化の排除。その方法とは ?」「モダンアプリケーションにおける代表的な設計パタ... 続きを読む

【Python】データサイエンティストのためのPython開発記事紹介 - 歩いたら休め

2016/11/15 210 users Python 予行練習 データサイエンティスト 後輩 数値計算

2016 - 11 - 16 【Python】データサイエンティストのためのPython開発記事紹介 Python 後輩が 数値計算 を使う、簡単な バッチ処理 を Python で書き始めました。 一応私も Python の知識ならそれなりにあるのでいろいろ教えられることは（まだ）あります。 そのための予行練習としていろいろまとめておきます。 正直、自分よりもっと 数値計算 やプログラミングに関... 続きを読む