Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話

2024/07/08 10 users DataFlow job リソース GMO NIKKO 見解

こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異... 続きを読む

GCPのバッチ処理サービス「Batch」を試してみる

2023/12/16 11 users GCP workflows 要点 GMOアドマーケティング

この記事は GMOアドマーケティング Advent Calendar 2023 17日目の記事です。 この記事の要点 - 新しいバッチ処理サービス「Batch」が2022年夏にリリースされた - タイムアウトがないので大規模処理に向いている - 依存関係制御したい場合はWorkflowsなどから呼び出すのがメジャー こんにちは。 GMOアドマーケティングの... 続きを読む

【AWS】大規模なバッチ処理を支える技術選定

2023/09/21 153 users AWS バッチ処理 ECS 技術選定 Lambda

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要がありま... 続きを読む

Lancers本番環境のコンテナ化が完了しました | ランサーズ（Lancers）エンジニアブログ

2022/06/10 15 users Lancers ランサーズ Cro SRE ECS

Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。以下前回のブログから3ヶ月経ちましたが、ついにLancersのBatch、AppサーバーをEC2からECS/Fargateに移行完了しました。 ・LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました Cro... 続きを読む

[アップデート]CodeBuildが複数ビルドの並列実行と逐次実行に対応しました！ | Developers.IO

2020/07/31 7 users CodeBuild Developers.IO 並列実行

CodeBuildが"Batch"ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました！ バッチビルドを利用することで、複数のビルドタスクを並列に実行したり、順番に実行していくことが可能になります。 CodeBuildが "Batch" ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました！ AWS CodeBuild now su... 続きを読む

AWS CodeBuild now supports parallel and coordinated executions of a build project

2020/07/31 6 users AWS CodeBuild now

AWS CodeBuild now supports the execution of concurrent and coordinated builds of a project with “Batch” builds. Batch builds support the configuration and ordering of build executions with either a configuration list, configuration matrix, or a dependency-graph of build definitions. They’re inten... 続きを読む

「長さの近いデータを同じbatchに入れる」の性能劣化と速度 - u++の備忘録

2019/07/16 10 users Kaggle 備忘録 速度 性能劣化 チーム

先のKaggle Tokyo Meetup #6 でのtksさんの発表で触れられた「長さの近いデータを同じbatchに入れる」について、チームで参加した「Jigsaw Unintended Bias in Toxicity Classification | Kaggle」にて同じような取り組みをしていました。 本記事では、Jigsawコンペにおける「長さの近いデータを同じbatchに入れる」処理... 続きを読む

API Gateway + LambdaでAWS BatchのJobを実行する ｜ Developers.IO

2017/08/08 24 users Lambda job スケーラブル AWS Batch API

こんにちは、菊池です。 API GatewayとLambdaで構成するAPIから、AWS Batchのジョブを実行する環境を作成してみました。Lambdaには向いていない長時間の処理などを、非同期にBatchで実行することで、スケーラブルなジョブ実行環境にできないかと思いました。 API Gateway + LambdaからBatch Jobを実行する 構成イメージは以下のようになります。 API... 続きを読む

Batch – Parse migration

2016/02/03 37 users

Parse shutdown came as a shock, to all of us. But these push notifications still need to be sent to those users, right? Use our Parse Tokens Importer, and migrate to Batch.com today. You’ll need an ac... 続きを読む

Java EE 7 ローンチ (US 時間: 06/12 午前9時) | 寺田　佳央 - Yoshio Terada

2013/06/12 20 users Yoshio Terada ローンチ WebSocket

US 時間で 2013 年 6 月 12 日 午前 9 時より Java EE 7 のローンチ・イベントが開始します (日本では 2 回目のローンチ・イベントで 6 月 13 日 午後 1 時から参加頂けます)。Java EE 7 は、 2009 年にリリースされた Java EE 6 をベースに、4 つの新機能 (WebSocket, JSON, Batch, Concurrency Utili... 続きを読む

300個のシンプルなアイコンセット素材。全体的にほどよい丸みがあって可愛らしい。 → Batch • 300 Icons for Web & User Interface Design - コメンター

2012/11/23 27 users コメンター 丸み クリエイター 匿名ならでは コミュニティ

コメンターとは コメンターは、クリエイターの気になるサイトやページをシェアして、匿名ならではの自由なコメントをみんなで楽しむコミュニティです。 このページをシェア 上記リンクをブックマークツールバーに登録することで、閲覧中のサイトをその場でシェアできます。 続きを読む