Apache Mesos / Marathon を本番で運用するための5つのTips - VASILY DEVELOPERS BLOG

2017/05/12 17 users Marathon クローラー Tips コンテナ Blog

2017 - 05 - 12 Apache Mesos / Marathon を本番で運用するための5つのTips こんにちは。 インフラエンジニアの光野です。 先日の ブログ記事 でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。 先日の記事はクローラーシステム全体を取り扱いましたが、本記... 続きを読む

Awesome Java : 素晴しい Java フレームワーク・ライブラリ・ソフトウェアの数々 - Qiita

2017/02/07 380 users タスク Apache Hadoop Apache Ant

素晴しい Java フレームワーク, ライブラリ, ソフトウェアの一覧 Ancients 今後も長い間使われ続けるであろう, 古くからあるライブラリ, ソフトウェア Apache Ant - XMLとビルドプロセス管理. Apache Hadoop - コモディティ・ハードウェア・クラスタ上のデータ・セットストレージと大規模処理. Apache OpenNLP - トークン化などの一般的なタスクの... 続きを読む

Linux Foundationがグラフデータベースプロジェクト「JanusGraph」を発表、GoogleやIBMが支援 | OSDN Magazine

2017/01/13 29 users Titan Foundation IBM Linux マシン

Linuxを支援する非営利団体のThe Linux Foundationは1月12日、グラフデータベース「JanusGraph」が新たにプロジェクトとして加わったことを発表した。グラフデータベースプロジェクトの「Titan」コードをベースとしており、拡張性に優れたグラフデータベースを目指す。 JanusGraphは拡張性を特徴とするグラフデータベース。複数台のマシンで構成されるクラスタ上に分散した... 続きを読む

Amazon ECS Task Placement Policyのご紹介 | Amazon Web Services ブログ

2017/01/04 15 users Amazon Web Services リソース タスク

Amazon Web Services ブログ Amazon ECS Task Placement Policyのご紹介 by AWS Japan Staff | on 04 JAN 2017 | in Amazon ECS | Permalink 本日、 Amazon ECS はクラスタ上にどのようにしてタスクを配置するかを汎用的に制御することのできる機能を発表しました。以前は、特定のリソースの... 続きを読む

Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った - weblog of key_amb

2016/03/18 127 users Fire 発火 収穫 weblog of key_amb

2016 - 03 - 18 Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った Consul Ruby list Tweet github.com fireap = fire + reap です。 Consul Event を発火(fire)して、受信側でそれを収穫(reap)する、という意で。 読み方は「ファイリープ」で良いかと思ってます... 続きを読む

O'Reilly Japan - 初めてのSpark

2015/08/10 61 users Spark ＲＤＤ O'Reilly Japan 補足 キー

Sparkの概要、RDDを使ったプログラミング、キー／値ペアの処理など基礎的な説明から、Sparkの高度なプログラミング、クラスタ上での本格的な利用まで解説した、Sparkの総合的な入門書です。日本語版の内容にはバージョン1.3/1.4での機能強化も取り入れ、土橋昌氏による「原書発行以降の変更点」、猿田浩輔氏による「Spark SQLについて本編の補足」、堀越保徳氏と濱口智大氏による「Spark/... 続きを読む

Amazon Web Services ブログ: 【AWS発表】EC2 Container Service - ロングランニングアプリケーション対応、負荷分散、その他

2015/04/09 64 users 負荷分散 AWS発表 invent スケーラビリティ その他

EC2 Container ServiceはDockerコンテナをサポートしたスケーラビリティの高いコンテナ管理サービスで、Amazon Elastic Compute Cloud(EC2)インスタンスのクラスタ上でアプリケーションを走らせることが簡単にできます。我々はAWS re:Inventでプレビューを開始しこれまでたくさんの素晴らしいフィードバックを頂いてきました。 Amazon ECSは... 続きを読む