GCPのバッチ処理サービス「Batch」を試してみる

2023/12/16 11 users Batch GCP workflows 要点 タイムアウト

この記事は GMOアドマーケティング Advent Calendar 2023 17日目の記事です。 この記事の要点 - 新しいバッチ処理サービス「Batch」が2022年夏にリリースされた - タイムアウトがないので大規模処理に向いている - 依存関係制御したい場合はWorkflowsなどから呼び出すのがメジャー こんにちは。 GMOアドマーケティングの... 続きを読む

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に － Publickey

2018/10/14 29 users サーバレス Publickey AWS ストレージ 関数

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に AWS Lambdaは、いわゆるサーバレスコンピューティングを実現するAWSの機能です。あらかじめ開発したプログラムをAWS Lambdaに関数として登録しておき、HTTPリクエストやストレージへのデータの保存などのイ... 続きを読む

Awesome Java : 素晴しい Java フレームワーク・ライブラリ・ソフトウェアの数々 - Qiita

2017/02/07 380 users タスク Apache Hadoop Apache Ant

素晴しい Java フレームワーク, ライブラリ, ソフトウェアの一覧 Ancients 今後も長い間使われ続けるであろう, 古くからあるライブラリ, ソフトウェア Apache Ant - XMLとビルドプロセス管理. Apache Hadoop - コモディティ・ハードウェア・クラスタ上のデータ・セットストレージと大規模処理. Apache OpenNLP - トークン化などの一般的なタスクの... 続きを読む

Fusion-io、微細化したNANDチップを採用しつつ性能を向上させた新フラッシュストレージ「ioMemory PX600/SX300」販売開始。エンタープライズ向けとハイパースケール向け － Publickey

2014/07/07 32 users Publickey Fusion-io IOPS 性能 用途

新製品はエンタープライズ向けにデータベースやサーバ仮想化などの用途を想定し、性能を重視した「ioMemory PX600」と、オープンソースなどを用いて大規模処理を構築するなどの用途を想定したハイパースケール向けの「SX300」の2つ。最大容量はそれぞれ5.2テラバイトと6.4テラバイト。 両機種とも従来製品に対してスループットや読み込み、書き込みのIOPSなどの性能を向上させたほか、新しいエラー... 続きを読む

Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 － Publickey

2012/11/11 102 users Facebook Publickey Hadoop Hive

Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop Map... 続きを読む