GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから － Publickey

2020/09/01 21 users BigQuery Publickey Dockerコンテナ

GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから いまから6年前の2014年、当時ようやくDockerコンテナが世の中に知られるようになってきた頃、Googleはすでに社内のすべてのソフトウェアをコンテナ化しており、毎週20億個ものコンテナをクラウド上で起動していると発表し、多く... 続きを読む

GoogleのGmailやクラウドなどのサービスを支える技術「Borg」の統計情報が公開 - GIGAZINE

2020/05/07 13 users GIGAZINE Gmail クラウド PDF Google

GoogleはGmailやサーチエンジン、Google Cloud Platformなどのさまざまなサービスを運営しています。そうした大規模なサービスを高い稼働率で提供するため、Googleは「Borg」と呼ばれるクラスタマネージャを開発してきました。そのBorgについて、Googleが2019年版の統計情報を公開しています。 (PDF)Borg:the Next Gener... 続きを読む

Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog

2019/10/29 34 users inductor GKE マスターノード インフラ 論文

はじめに こんにちは。inductorです。 今日のエントリーはタイトルの通りです。 BorgはGoogleが持つアプリケーション実行基盤で、Google CloudにおいてはGKEのマスターノードやGoogle App Engineなどが実際に動くインフラとしても使われています。 ツイッターで誰かが「Borgの論文を誰か日本語で解説してほしい」と言っ... 続きを読む

Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog

2019/10/29 368 users Introduction まえがき 論文 アプリケーション

このエントリーについて Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog を読んでください！ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します... 続きを読む

分散システム処理モデルに関する動向について（MapReduceからBorgまで） - Yahoo! JAPAN Tech Blog

2015/06/10 497 users 関数プログラミング MapReduce モデル 特徴 動向

詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduc... 続きを読む