理解して拡げる分散システムの基礎知識 - Speaker Deck

2020/07/25 193 users Speaker Deck 基礎知識

20200725の #JTF2020 セッションスライド。 （資料内で説明した資料へのリンク） ・昨年のJTF発表資料 https://speakerdeck.com/tzkoba/cloud-nativekai-fa-zhe-falsetamefalsedatabase-with-kubernetes ・「2020年のNewSQL」 https://qiita.com/tzkoba/items/5316c6eac66510233115 ・「NewSQLのコンポーネント詳解」 ht... 続きを読む

O'Reilly Japan - 分散システムデザインパターン

2019/04/03 110 users O'Reilly Japan スケーラブル 原書 隼人 松浦

分散システムデザインパターン ――コンテナを使ったスケーラブルなサービスの設計 Brendan Burns　著、松浦 隼人　訳 2019年04月20日 発売予定 200ページ ISBN978-4-87311-875-8 原書: Designing Distributed Systems フォーマット 本書は、コンテナを使った分散システムのデザインパターンについて解説する書籍です。コ... 続きを読む

Azure アプリケーションの設計原則 | Microsoft Docs

2018/10/26 110 users Microsoft Docs 設計原則 アプリケーショ 冗長

次の設計原則に従って、アプリケーションのスケーラビリティを上げて、回復力や管理しやすさを強化します。 自動修復機能を設計します 。 分散システムでは、障害が発生します。 障害の発生に備えてアプリケーションの自動修復機能を設計します。 すべての要素を冗長にします 。 単一障害点をなくすようにアプリケーショ... 続きを読む

分散ユーザー管理システム「etcdpasswd」の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/10/04 259 users NECO サイボウズエンジニア etcd ueokande

こんにちは、アプリ基盤チーム兼Necoプロジェクト所属の @ueokande です。 本日はNecoで開発しているUNIXユーザーの管理ツールである「etcdpasswd」を紹介します。 github.com etcdpasswdは、etcdをバックエンドに持つ分散型のユーザー管理システムです。 etcdpasswdは自律型の分散システムで、一時的にホストがダウンし... 続きを読む

分散システムの耐障害性テストの取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/09/05 182 users サイボウズエンジニア Cybozu Inside Out

こんにちは、Necoチームの池添（@zoetro）です。 サイボウズが提供するクラウドサービスcybozu.comでは、アーキテクチャを刷新すべく「Neco」というプロジェクトを実施しています。 そのプロジェクトでは、サーバのライフサイクルを管理するsabakanや、Kubernetesクラスタを構築するためのCKE(Cybozu Kubernetes Engine)... 続きを読む

分散システム、本当に「正しく」開発できますか？ #JTF2018 / July Tech Festa 2018

2018/07/29 169 users jtf2018 July Tech Festa 2018

July Tech Festa 2018 で使用したスライドです。二相コミットを例として、分散アルゴリズムの検証にモデル検査を使用する解説しています。また、代表的なモデル検査ツールである SPIN、TLA+、P について、同じシステムを各ツールで記述してみることでその特定の違いについて学びます。 イベント概要：https://2018.techf... 続きを読む

分散システムの限界について知ろう

2018/07/02 502 users 限界 Twitter Facebook GitHub シンコ

分散システムの限界について知ろう 1. 分散システムの限界に ついて知ろう 大村伸吾 @everpeace 2018/07/02 株式会社エフ・コード 社内勉強会 2. 大村伸吾 おおむら しんご ✘ Software Engineer at Preferred Networks ✘ Technical Consultant at f-code, ChatWork ✘ twitter/github: everpeace ✘ facebook: shingo.omur... 続きを読む

分散システムの限界について知ろう

2018/07/02 502 users 限界 Twitter Facebook GitHub シンコ

分散システムの限界について知ろう 1. 分散システムの限界に ついて知ろう 大村伸吾 @everpeace 2018/07/02 株式会社エフ・コード 社内勉強会 2. 大村伸吾 おおむら しんご ✘ Software Engineer at Preferred Networks ✘ Technical Consultant at f-code, ChatWork ✘ twitter/github: everpeace ✘ facebook: shingo.omur... 続きを読む

分散ロックという名の過ち - Software Transactional Memo

2018/03/25 398 users Software Transactional Memo

2018 - 03 - 26 分散ロックという名の過ち 分散システム TL;DR; 「分散ロック」が分散システムの設計図に登場した時 だいたいその設計は間違っていて本当に必要なものは トランザクション だ 並行システムを実装する際にロックを用いるのはとても自然なことだ。 僕も普段はロックフリー系の アルゴリズム に詳しいと言われがちだが知識量でいったら実はロック系の方が多く蓄えているかも知れない。... 続きを読む

今度こそ絶対あなたに理解させるPaxos - Qiita

2017/11/30 197 users Qiita PFI 金字塔 Wikipedia 輝かしい成果

Paxosとは何か 分散システムの金字塔とも呼ばれ、Leslie Lamport大先生の輝かしい成果の一つとして知られる分散合意アルゴリズムPaxos。 既存の解説 実はすでに存在するPaxosの解説はすでに質が高い - Wikipedia の項目にも結構長々と書かれていて、これを読んで理解できた人はもう僕の記事を読む必要はない。 - 同様にPFIの久保田さんによる 解説スライド もあり、これも良... 続きを読む

Docker チートシート - Frasco

2017/11/10 459 users Docker Frasco オーケストレーション コンテナ

私は以前の仕事で Docker を使っており、今の会社（ eralabs.io ）でも顧客のために使っています。そして、これまでの経験により得た Docker の知識を皆さんにシェアしたいと思い、 Painless Docker Course を始めました。 私は Docker、コンテナ、オーケストレーション、分散システムが好きです。そして、 Painless Docker の多くの読者がその内容... 続きを読む

分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo

2017/08/14 359 users 顛末 反省 Proposal コミュ ソフトウェア

2017 - 08 - 15 分散システムについて語らせてくれ。顛末と反省。 8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これは NTTグループ 内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュ... 続きを読む

分散システムについて語らせてくれ

2017/08/11 970 users 熊崎 kumagi 宏樹 ソフトウェアイノベーションセンタ

分散システムについて語らせてくれ 1. Copyright©2016 NTT Corp. All Rights Reserved. 分散システムについて 語らせてくれ 日本電信電話株式会社 ソフトウェアイノベーションセンタ 熊崎 宏樹 (@kumagi) 2. Copyright©2016 NTT Corp. All Rights Reserved. 2 1.分散自体を目的にしない事 2.論文を読... 続きを読む

分散システムについて語らせてくれ

2017/08/11 970 users 熊崎 kumagi 宏樹 ソフトウェアイノベーションセンタ

分散システムについて語らせてくれ 1. Copyright©2016 NTT Corp. All Rights Reserved. 分散システムについて 語らせてくれ 日本電信電話株式会社 ソフトウェアイノベーションセンタ 熊崎 宏樹 (@kumagi) 2. Copyright©2016 NTT Corp. All Rights Reserved. 2 1.分散自体を目的にしない事 2.論文を読... 続きを読む

ビットコインとブロックチェーンと分散合意 - 急がば回れ、選ぶなら近道

2016/04/24 156 users 近道 視点 ビットコイン キーノート 分散系

先日、分散システムをいろいろやっているメンバーで集まって、話題のブロックチェーンとかビットコインやらの勉強会をやってので、まとめておく。 いろいろ意見はあると思うけど、勉強会では問題意識は大体、共有できたと思う。まずは、キーノートやってもらったS社のMさんに感謝申し上げます。すごくわかりやすかった。やはり分散系をやっている人からの解説は、視点とか問題意識が同じなので参考になる。 以下、自分の個人的... 続きを読む

全盛期のJeff Dean伝説 - Qiita

2016/03/24 392 users Jeff Dean Qiita イチロー伝説 基盤 ホラ話

Jeff Deanとは GoogleのSenior Fellow. Googleの基盤となる分散システムのほぼ全てに 中心的に関わり 、圧倒的なエンジニアリング能力を発揮したらしい。あまりにも尊敬されているため、IT業界において 全盛期のイチロー伝説 のような破天荒なホラ話のネタにされている人。 日本語での紹介がなさそうだったので意訳してみました。 元ネタは こちら 。多すぎるのでGoogle社員... 続きを読む

分散システムについて語るときに我々の語ること ― 分散システムにまつわる重要な概念について | コンピュータサイエンス | POSTD

2016/01/20 387 users 手助け アルゴリズム 属性 POSTD プロセス間通信

分散システムのアルゴリズムは、異なる種類の属性により分類することができます。例えば、タイミングモデル、使用されるプロセス間通信の種類、アルゴリズムに適した故障モデル、他にも様々です。この記事では、分散システムについての文章を読んだりするときの基礎的な理解の手助けになるよう、それらの多くの概念について俯瞰していきます。分散システムについては、もう随分と前から学びたいと思っていました。ただ、それは一度... 続きを読む

Gitの10年間: Gitの生みの親 Linus Torvalds のインタビュー

2015/04/22 336 users Git SCM カーネル Linux コミュニティ

10 年前の今週、Linux カーネル コミュニティは困難な問題に直面しました。すなわち、バージョン管理システム BitKeeper を使うことができなくなり、他のソフトウェア構成管理 (SCM) システムも分散システムのニーズを満たすことができませんでした。Linux の生みの親 Linus Torvalds は自らこの困難に立ち向かい、週末... 続きを読む

分散システムの一貫性に関する動向について - Yahoo! JAPAN Tech Blog

2015/04/06 471 users 動向 Yahoo 一貫性 JAPAN Tech Blog

写真：アフロ システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえ... 続きを読む

Goと大規模分散システムの相性 - ワザノバ | wazanova

2014/11/24 133 users スループット wazanova ワザノバ 大規模分散システム

Googleで分散システムの開発をてがけ、現在はソーシャルメディア mttr.toを立上げ中のBen Sigelmanが、Goを分散システムの開発に利用する場合の、メリットおよびチャレンジについて講演しています。 分散システムのあるべき姿 分散システムの勘所は、最上位ビットをパフォーマンス的にも構造的にもうまく扱うことができるかというのがポイント。その効果が一番大きい。スループットの改善のような詳... 続きを読む

bitlyでの分散システム構築から学んだこと

2014/08/17 108 users Bitly 英人 マイリーディングリスト 作者 吉田

bitlyでの分散システム構築から学んだこと 作者： Sergio De Simone , 翻訳者 吉田 英人 投稿日 2014年8月17日 | 共有 |  後で読む マイリーディングリスト 5月に開催されたBacon Conferenceで，bitlyのアプリケーション開発リーダのSean O’Connor氏は，毎月600億クリックを処理する分散システムの開発を通じてbitlyの開発者たちが学ん... 続きを読む

CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった － Publickey

2013/01/28 213 users リレーショナルデータベース Consistency 耐性

分散システムにおいては以下の3つの要素のうち2つしか同時に満たすことができない、というCAP定理を提唱したのは、Eric Brewer氏でした。 C：Consistency（一貫性） A：Availability（可用性） P：Tolerance to network Paritions（ネットワーク分断への耐性） 一般にリレーショナルデータベースでは、一貫性（C）と可用性（A）をできるだけ保証す... 続きを読む

「分散システムのためのメッセージ表現手法に関する研究」 - 筑波大学大学院を卒業しました - 古橋貞之の日記

2012/04/01 248 users 古橋貞之 筑波大学大学院 研究 日記

このたび筑波大学大学院を卒業し、修士号を取得しました。卒業にあっては本当に多くの方々にご助力いただきました。この場を借りて御礼申し上げます。ありがとうございました。現在は起業して、12月からアメリカに在住しています。新たな価値を生み出すべく "下から上まで" システムの設計と開発に携わっており、エキサイティングな毎日を送っています。修論シーズンに日本にいなかったので、修士論文はメールで送って提出し... 続きを読む

アリエル　エリア - ドキュメント-Google File System(GFS)技術メモ

2005/10/20 303 users GFS Labs アリエル Papers GNU

Google file system(GFS) * 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動... 続きを読む