ComfyUI で Stream Diffusion を動かす｜.com

2023/12/31 7 users ComfyUI 学者 生成 ステップ com

0. はじめに先日 Stream Diffusion が公開されていたみたいなので、ComfyUI でも実行できるように、カスタムノードを開発しました。 Stream Diffusionは、連続して画像を生成する際に、現在生成している画像のステップに加えて、もう次の生成のステップを始めてしまうというバッチ処理をするそうです。 学者ではないので... 続きを読む

【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS ECS 技術選定 Batch Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

2023/07/09 11 users テー バッチ DynamoDB 自体 ユーザー

テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテー... 続きを読む

AWS でバッチ処理・定期実行する4つの方法

2023/03/31 203 users AWS 選択肢 定期 メリット それぞれ特徴

AWS でバッチ処理・定期実行する4つの方法 AWS上でバッチ処理を行う場合に、 どのサービスが選択肢として考えられるか どのサービスを選択すればいいのか について考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。... 続きを読む

日立子会社がZ会に11億円の支払い、システム開発訴訟はなぜ起きたか

2023/03/09 10 users 日立子会社 勝訴 発端 Z会 開発頓挫

新基幹システムの開発頓挫を受け、Z会が2017年11月に委託先を訴えた裁判。東京地裁は一審判決で11億円の支払いを委託先の日立子会社に命じた。2022年10月に東京高裁が日立子会社の控訴を棄却し、Z会の勝訴が確定した。事件の発端は、夜間のバッチ処理が終わらないというシステム不具合だった。裁判に発展した経緯とZ会が... 続きを読む

商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

2023/01/24 17 users BigQuery SQL Python 増加 ポイント

こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替... 続きを読む

AIで画像をアップスケールする無償ツール「Upscayl」に16倍拡大モードとバッチ処理が追加／最新版v1.5.0がリリース

2022/09/20 11 users Upscayl 無償ツール リリース アップ 画像

続きを読む

マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services

2022/05/18 10 users Amazon SQS キューイング モダンアプリケーション

Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに... 続きを読む

Cloud Run jobs を解説する

2022/05/13 29 users Cloud Run Jobs Tasks http コンテナ

TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Tasks)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run ... 続きを読む

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

2022/03/19 460 users MySQL shallow インフラ shallow1729

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました... 続きを読む

バッチ処理 プラクティス

2021/12/15 921 users プラクティス ナレッジ 先人 筆者 文章

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身... 続きを読む

バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog

2021/11/30 14 users 題材 クラウドネイティブ 冪等性 自動移行 はてなダイアリー

アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティ... 続きを読む

AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

2021/11/15 151 users 構築 AWSソリューションアーキテクト 組織 基礎 多く

Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。 バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理する... 続きを読む

AWSでバッチ処理を実装する際の選択肢とサービス比較

2021/05/01 339 users AWS 選択肢 ECS Lambda Fargate

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービス... 続きを読む

転職会議から冪等でないバッチ処理を根絶した話 - LIVESENSE ENGINEER BLOG

2021/03/03 13 users かたいなか 重複送信 運用性 一部 転職会議

こんにちは、かたいなかです。 最近転職会議のバッチ処理をすべて冪等にし、処理失敗時に気軽に再実行できるようにすることで運用性を向上させました。 今回の記事ではその取り組みを紹介します。 再実行すると重複送信につながるメール送信バッチ もともと、転職会議では一部のバッチ処理を除いてほとんどのバッチ処理... 続きを読む

レガシーとの向き合い方　〜cron から Rundeck へ〜 - DMM inside

2020/08/11 170 users Rundeck cron レガシー バッチ 大倉

はじめに こんにちは！プラットフォーム事業本部ペイメントサービス部ポイントグループの大倉です。 普段はDMMポイントに関するシステムの開発や保守、それと、この長い所属名を噛まずに自己紹介する方法について考えています。 inside.dmm.com この記事では、ポイントグループのバッチ処理（以下、バッチ）をcronからRu... 続きを読む

バックグラウンドで実行するバッチ処理の改善のためSidekiq Enterpriseを導入しました? - メドピア開発者ブログ

2020/04/01 16 users バックグラウンド メドピア開発者ブログ MedPeer 改善

こんにちは、エンジニアの森田です。 MedPeerでは、バックグラウンドで非同期に処理を実行させる方法としてSidekiqを使っておりましたが、今回Sidekiq Enterprise(Proを含む)を導入しました。 https://sidekiq.org/products/enterprise.html 今回はSidekiq Enterpriseを導入するにあたって解決したかった課題と実際の導... 続きを読む

AWSジャパン、クラウドエンジニア向けのWebマガジン「builders flash」開始。登録者には限定ワークショップなど特典も提供 － Publickey

2020/02/04 223 users プログラマ モダンアプリケーション 排除 Publickey

AWSジャパンは、クラウドを活用するプログラマやエンジニアのためのWebマガジン「builders flash」の公開を開始しました。 毎月新たな記事が公開される予定で、現時点では「バッチ処理のコンテナ化によって手に入れた業務効率化の実現と属人化の排除。その方法とは ?」「モダンアプリケーションにおける代表的な設計パタ... 続きを読む

バッチ処理のコンテナ化によって手に入れた業務効率化の実現と属人化の排除。その方法とは ? - AWS DevDay Tokyo 2019登壇者インタビュー - builders.flash☆ - 開発エンジニアの「発見」を応援する

2020/02/04 14 users builders.flash 排除 コンテナ化 発見 実現

ママ向け Q&A アプリ「ママリ」のインフラエンジニアを務めるコネヒトの永井 勝一郎 氏は、2019 年 10 月に開催された AWS DevDay Tokyo 2019 の Call for Paper (公募) 部門のセッションに登壇。「AWS サービスで実現するバッチ実行環境のコンテナ/ サーバーレス化」というテーマで 2 つの自社事例を紹介してくださいま... 続きを読む

チームで機能設計するためのPlantUML標準化 | Future Tech Blog - フューチャーアーキテクト

2020/02/03 400 users フューチャーアーキテクト UML WebAPI チーム 一環

はじめに現在所属しているプロジェクトではWebAPIやバッチ処理の設計の一環としてPlantUMLを利用しています。効率よく品質高くアウトプットを出すためには、プログラミング言語に対してコーディング規約があるように、UMLに対してもチームで設計するにあたり一定のルールを決める必要があります。 そこでプロジェクト内... 続きを読む

Digdagバッチの基本設計とビルドの実例紹介 - MicroAd Developers Blog

2020/01/14 5 users Digdag ビルド ワークフロー サーバサイドエンジニア

サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。 以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。 今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub En... 続きを読む

バッチ処理について考える - Qiita

2020/01/11 378 users Qiita Problem Twitter ショボイ ひとくち

Help us understand the problem. What is going on with this article? TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思っ... 続きを読む

京都市が基幹系刷新で2度目の失敗、2020年1月の予定だった稼働時期が「未定」に | 日経 xTECH（クロステック）

2019/12/27 272 users 収束 キヤノンITS キヤノンITソリューションズ 延期 品質

延期の原因は新福祉系システムのバッチ処理で生じている「不具合の収束が本年中に見込めないこと」（総合企画局の資料）である。開発ベンダーであるキヤノンITソリューションズ（キヤノンITS）は2019年12月13日、京都市に対し「ほとんどの評価項目に残課題があり、2020年1月の本番稼働の品質に満たないため、品質確認の... 続きを読む

バッチ処理のスケジューリングパターン - google-cloud-jp - Medium

2019/12/12 21 users medium GCP google-cloud-jp 最後

この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、８パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングとい... 続きを読む

[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた ｜ DevelopersIO

2019/10/07 27 users Lambda DevelopersIO map 配列 平野

こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Fu […] 続きを読む