分散システムについて語らせてくれ

2024/06/23 230 users

PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本... 続きを読む

【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ　 | レバテックラボ（レバテックLAB）

2024/05/13 11 users レバテックラボ 岩永 亮介 レバテックLAB 岩永氏

TOPコラムITエンジニアの海外チャレンジ・ガイドブック【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ OpsBR Software Technology Inc. 代表 岩永 亮介 ソフトウェア業界で15年以上、物理的なデータセンター運用から、世界最大規模の分散システムの運用、多数... 続きを読む

Figmaは多大なアクセスをさばくためにどのようにデータベースのスケーリングを行ったのか？

2024/05/03 30 users figma スケーリング ブラウザベース データベース 当初

ブラウザベースのデザインツール「Figma」のデータベース(DB)は2020年以来100倍に拡大しました。当初は単一のPostgreSQLで構築されていたDBをどのようにして分散システムへと移行したのかについて、公式ブログで詳しく説明されています。 How Figma's Databases Team Lived to Tell the Scale | Figma Blog https://www.... 続きを読む

分散システムはなぜ非中心の夢を見るか、Web 3.0ブームをまじめに考察する

2022/08/01 8 users

今から10年ほど前の2013年、筆者は六本木のダイニングバー「The Pink Cow」に入り浸っていた。多国籍の料理や酒を楽しむため……ではなく、そこに集う暗号資産（仮想通貨）Bitcoin（ビットコイン）ファンに話を聞くためだ。 銀行を介さず自らデジタル通貨を管理し、店で決済できるBitcoinの可能性に、誰もが興奮していた。... 続きを読む

気をつけたいKubernetesとの付き合い方 / Happy Kubernetes Life - Speaker Deck

2020/12/10 13 users Kubernetes Transcript 徒然 付き合い方

Transcript 気をつけたいKubernetes との付き合い方 go_vargo OpenShift.Run Winter 2020 Kubernetes...分散システム Kubernetes...分散コンポーネント 今日の発表 • Kubernetesは分散システムかつ分散コンポーネントで複雑 ◦ Event Driven, Asynchronous • そんなKubernetesと触れ合う上で、気をつけたいことを徒然 な... 続きを読む

ざっくりCQRS/Event Sourcingを解説する - Speaker Deck

2020/10/25 18 users CQRS Transcript Speaker Deck

Transcript ざっくり CQRS/Event Sourcing を解説する かとじゅん(@j5ik2o) 設計ナイト2020 誰？ • Chatworkで仕事してます。現在は分散システムの設計・実装を担当しています。 • 2016年からk8s+Akka+Kafka+HBaseを用いた、CQRS/Event Sourcingシステム を運用しています。 • 現在もAkka-Clusterへのマイグレーションを... 続きを読む

分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay - Speaker Deck

2020/10/20 5 users AWSDevDay Transcript 実装 福井 Inc

Transcript © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 分散システムにおけるSagaパターンの AWS Step Functions による実装 福井 厚 Atsushi Fukui シニアソリューションアーキテクト サーバーレススペシャリスト アマゾンウェブサービスジャパン株式会社 B - 4 ... 続きを読む

理解して拡げる分散システムの基礎知識 - Speaker Deck

2020/07/25 193 users Speaker Deck 基礎知識

20200725の #JTF2020 セッションスライド。 （資料内で説明した資料へのリンク） ・昨年のJTF発表資料 https://speakerdeck.com/tzkoba/cloud-nativekai-fa-zhe-falsetamefalsedatabase-with-kubernetes ・「2020年のNewSQL」 https://qiita.com/tzkoba/items/5316c6eac66510233115 ・「NewSQLのコンポーネント詳解」 ht... 続きを読む

ASCII.jp：「みんなジョブズにだまされている」？ エッジ／フォグの進化が必然である理由 (1/2)

2020/02/19 18 users フォグ エッジ 領域 必然 コンセプト

さくらインターネット研究所では、10年後の未来を見据えた研究ビジョンとして「超個体型データセンター（Superorganism Data Center）」のコンセプトを掲げている。各研究員がそれぞれの専門領域からこの世界に向けてアプローチする中で、分散システム（エッジ／フォグコンピューティング）領域の研究を進めるのが上級研... 続きを読む

形式手法による分散システムの検証 #builderscon / builderscon tokyo 2019 - Speaker Deck

2019/08/31 67 users Builderscon Speaker Deck 形式手法

All slide content and descriptions are owned by their creators. 続きを読む

分散システムにちょっとだけ入門したのでメモっておく - 毎日Learning

2019/04/29 60 users Learning メモ

Akka Clusterを運用していくとなると、社内でこの資料を読んで理解しておきたいねって話があった。 Akka Clusterの耐障害設計 from TanUkkii で、Scala関西 Summit 2016の資料じゃーん、おやもしかして動画あるんじゃね?って探したらあった。 【Scala関西Summit2016】Akka Clusterのネットワーク分断耐性設計 で、こちら... 続きを読む

O'Reilly Japan - 分散システムデザインパターン

2019/04/03 110 users O'Reilly Japan スケーラブル 原書 隼人 松浦

分散システムデザインパターン ――コンテナを使ったスケーラブルなサービスの設計 Brendan Burns　著、松浦 隼人　訳 2019年04月20日 発売予定 200ページ ISBN978-4-87311-875-8 原書: Designing Distributed Systems フォーマット 本書は、コンテナを使った分散システムのデザインパターンについて解説する書籍です。コ... 続きを読む

Azure アプリケーションの設計原則 | Microsoft Docs

2018/10/26 110 users Microsoft Docs 設計原則 アプリケーショ 冗長

次の設計原則に従って、アプリケーションのスケーラビリティを上げて、回復力や管理しやすさを強化します。 自動修復機能を設計します 。 分散システムでは、障害が発生します。 障害の発生に備えてアプリケーションの自動修復機能を設計します。 すべての要素を冗長にします 。 単一障害点をなくすようにアプリケーショ... 続きを読む

分散ユーザー管理システム「etcdpasswd」の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/10/04 259 users NECO サイボウズエンジニア etcd ueokande

こんにちは、アプリ基盤チーム兼Necoプロジェクト所属の @ueokande です。 本日はNecoで開発しているUNIXユーザーの管理ツールである「etcdpasswd」を紹介します。 github.com etcdpasswdは、etcdをバックエンドに持つ分散型のユーザー管理システムです。 etcdpasswdは自律型の分散システムで、一時的にホストがダウンし... 続きを読む

分散システムの耐障害性テストの取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/09/05 182 users サイボウズエンジニア Cybozu Inside Out

こんにちは、Necoチームの池添（@zoetro）です。 サイボウズが提供するクラウドサービスcybozu.comでは、アーキテクチャを刷新すべく「Neco」というプロジェクトを実施しています。 そのプロジェクトでは、サーバのライフサイクルを管理するsabakanや、Kubernetesクラスタを構築するためのCKE(Cybozu Kubernetes Engine)... 続きを読む

分散システム、本当に「正しく」開発できますか？ #JTF2018 / July Tech Festa 2018

2018/07/29 169 users jtf2018 July Tech Festa 2018

July Tech Festa 2018 で使用したスライドです。二相コミットを例として、分散アルゴリズムの検証にモデル検査を使用する解説しています。また、代表的なモデル検査ツールである SPIN、TLA+、P について、同じシステムを各ツールで記述してみることでその特定の違いについて学びます。 イベント概要：https://2018.techf... 続きを読む

分散システムの限界について知ろう

2018/07/02 502 users 限界 Twitter Facebook GitHub シンコ

分散システムの限界について知ろう 1. 分散システムの限界に ついて知ろう 大村伸吾 @everpeace 2018/07/02 株式会社エフ・コード 社内勉強会 2. 大村伸吾 おおむら しんご ✘ Software Engineer at Preferred Networks ✘ Technical Consultant at f-code, ChatWork ✘ twitter/github: everpeace ✘ facebook: shingo.omur... 続きを読む

分散システムの限界について知ろう

2018/07/02 502 users 限界 Twitter Facebook GitHub シンコ

分散システムの限界について知ろう 1. 分散システムの限界に ついて知ろう 大村伸吾 @everpeace 2018/07/02 株式会社エフ・コード 社内勉強会 2. 大村伸吾 おおむら しんご ✘ Software Engineer at Preferred Networks ✘ Technical Consultant at f-code, ChatWork ✘ twitter/github: everpeace ✘ facebook: shingo.omur... 続きを読む

分散ロックという名の過ち - Software Transactional Memo

2018/03/25 398 users Software Transactional Memo

2018 - 03 - 26 分散ロックという名の過ち 分散システム TL;DR; 「分散ロック」が分散システムの設計図に登場した時 だいたいその設計は間違っていて本当に必要なものは トランザクション だ 並行システムを実装する際にロックを用いるのはとても自然なことだ。 僕も普段はロックフリー系の アルゴリズム に詳しいと言われがちだが知識量でいったら実はロック系の方が多く蓄えているかも知れない。... 続きを読む

Akka実践バイブル アクターモデルによる並行・分散システムの実現 - たけぞう瀕死ブログ

2017/12/12 7 users 並行 アクターモデル たけぞう瀕死ブログ 見送 実現

2017 - 12 - 12 Akka実践バイブル アクターモデルによる並行・分散システムの実現 書籍 Akka in Actionの日本語翻訳版である「Akka実践バイブル」がついに完成したとのことで 翔泳社 さんからお送りいただきました。ありがとうございます。 実はこの本は2年ほど前に翻訳を検討していたのですが、当時まだ原著がアーリーアクセス中でいつ完成するかわからないという状態だったため見送... 続きを読む

分散システムとしての #Elasticsearch - Taste of Tech Topics

2017/12/12 31 users elasticsearch snuffkin 進化

2017 - 12 - 12 分散システムとしての #Elasticsearch Elasticsearch Tweet こんにちは、 @ snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速... 続きを読む

今度こそ絶対あなたに理解させるPaxos - Qiita

2017/11/30 197 users Qiita PFI 金字塔 Wikipedia 輝かしい成果

Paxosとは何か 分散システムの金字塔とも呼ばれ、Leslie Lamport大先生の輝かしい成果の一つとして知られる分散合意アルゴリズムPaxos。 既存の解説 実はすでに存在するPaxosの解説はすでに質が高い - Wikipedia の項目にも結構長々と書かれていて、これを読んで理解できた人はもう僕の記事を読む必要はない。 - 同様にPFIの久保田さんによる 解説スライド もあり、これも良... 続きを読む

Docker チートシート - Frasco

2017/11/10 459 users Docker Frasco オーケストレーション コンテナ

私は以前の仕事で Docker を使っており、今の会社（ eralabs.io ）でも顧客のために使っています。そして、これまでの経験により得た Docker の知識を皆さんにシェアしたいと思い、 Painless Docker Course を始めました。 私は Docker、コンテナ、オーケストレーション、分散システムが好きです。そして、 Painless Docker の多くの読者がその内容... 続きを読む

Multi PaxosをJavaで実装してみた - As a Futurist...

2017/09/02 52 users Java As a Futuri SEP 実装 実装方針

☰ Menu Multi PaxosをJavaで実装してみた Sep 2, 2017 Javaの練習と分散システムの理解のために、Multi Paxosの実装をしてみてた。16ファイルで970行程度で一応正常系は動くものはできたと思う。そろそろ疲れたので切り上げ。コードはださないけど、やったことをまとめ。 実装方針 この記事を何度も読んで、この通りに実装した。それに尽きる。 Understandi... 続きを読む

分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo

2017/08/14 359 users 顛末 反省 Proposal コミュ ソフトウェア

2017 - 08 - 15 分散システムについて語らせてくれ。顛末と反省。 8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これは NTTグループ 内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュ... 続きを読む