分散KVSの「etcd」、Cloud Native Computing Foundationのインキュベーションプロジェクトに － Publickey

2018/12/12 40 users Publickey Kubernetes CNCF 開発

分散KVSの「etcd」、Cloud Native Computing Foundationのインキュベーションプロジェクトに Kubernetesなどの開発をホストするCloud Native Computing Foundation（CNCF）は、オープンソースとして開発されている分散キーバリューストア「etcd」（読みはエトセディー）の開発がCNCFのインキュベーションプロジェクト（... 続きを読む

分散ユーザー管理システム「etcdpasswd」の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/10/04 259 users NECO サイボウズエンジニア ueokande ホスト 紹介

こんにちは、アプリ基盤チーム兼Necoプロジェクト所属の @ueokande です。 本日はNecoで開発しているUNIXユーザーの管理ツールである「etcdpasswd」を紹介します。 github.com etcdpasswdは、etcdをバックエンドに持つ分散型のユーザー管理システムです。 etcdpasswdは自律型の分散システムで、一時的にホストがダウンし... 続きを読む

Go言語向けFailure Injectionツール: gofail - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/09/03 114 users zoetro 池添 Necoチーム サイボウズエンジニア 挙動

こんにちは、Necoチームの池添（@zoetro）です。 gofailは、etcdの開発チームがつくったFailure Injectionのためのツールです。 Go言語で書かれたプログラム中に故意にエラーを発生させるポイント(failpoint)を埋め込み、任意のタイミングでプログラムの挙動を変えることができます。 公式ドキュメントに記載されていな... 続きを読む

etcdからkubernetesの動きを見る「kube-ectd-helper」 - febc技術メモ

2018/03/25 56 users Kubernetes ダンプ 検知 febc技術メモ ツール

2018 - 03 - 25 etcdからkubernetesの動きを見る「kube-ectd-helper」 Kubernetes etcd 多分すごく限られた層にだけ響くツール「 kube-etcd-helper 」を作りました。 kube-etcd-helper は、kube-apiserverが利用しているetcdに直接アクセスし、 データのダンプや変更の検知を行うためのツールです。 ku... 続きを読む

大コンテナ時代を生きのこるためのJSON Schema - Sexually Knowing

2017/12/08 49 users JSON Schema Sexually Knowing

2017 - 12 - 08 大コンテナ時代を生きのこるためのJSON Schema 実行環境をコンテナ化するDockerが普及して久しく、CIやローカルの開発環境などどこかでコンテナ技術に触れているのではないでしょうか。 コンテナはその性質上、設定のプロビジョニングに古典的な設定ファイル (のパス) 受け渡しが難しいです。 etcd や consul のようなKVS (= Key- value ... 続きを読む

Kubernetes 1.6が登場。etcd3とgRPC採用で大幅な性能向上、チームやワークロードごとに名前空間を分離、物理ノードを考慮しデプロイ可能など － Publickey

2017/03/29 49 users Publickey Kubernetes ベルリン コンテナ

Kubernetes 1.6が登場。etcd3とgRPC採用で大幅な性能向上、チームやワークロードごとに名前空間を分離、物理ノードを考慮しデプロイ可能など オープンソースで開発されているコンテナのオーケストレーションツール「Kubernetes」の最新版、 「Kubernetes 1.6」がリリースされました 。 リリース翌日の29日（日本時間30日夕方）にドイツのベルリンで開催されたイベント「 ... 続きを読む

CoreOS、コンテナに最適化した分散ストレージ「Torus」の開発中止を明らかに。期待したほど開発の速度が上がらなかったと － Publickey

2017/02/19 24 users Publickey CoreOS Kubernetes 速度

CoreOS、コンテナに最適化した分散ストレージ「Torus」の開発中止を明らかに。期待したほど開発の速度が上がらなかったと CoreOSは 2016年6月に開発をスタート したKubernetesで稼働するコンテナに最適化したストレージ「 Torus 」の開発がこの2月で終了したことを 明らかにしました 。 Torusは、etcdを用いてシンプルで信頼性の高い分散ストレージを実現するソフトウェア... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 11 users quorum Cassandra レプリケーション Riak

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 192 users quorum Cassandra レプリケーション Riak

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

Vagrant + CoreOS + etcd + fleet + docker + registrator + docker-discover メモ - ようへいの日々精進XP

2015/08/11 84 users Docker ジロー ようへい Vagrant FLEET

2015-08-10 Vagrant + CoreOS + etcd + fleet + docker + registrator + docker-discover メモ vagrant CoreOS etcd fleet docker HAProxy はじめに 今さらジローではあるが、自分の中で Docker を絡めたクラスタ構成について気になっているので CoreOS やその関連技術を改めて... 続きを読む

Yakst - Engineering at Monsanto: AWS上でのetcdのクラスタリング

2015/07/13 35 users FLEET CoreOS クラスタリング スケジューリング

概要 数ヶ月の間、我々のチームはAWS上で自動化されたDockerコンテナを構築することにフォーカスしている。我々はCoreOSを基盤として使おうと決めた。CoreOSはコンテナをコアとした軽量なOSだ。 各マシンのコンテナのスケジューリングとしてfleetを使っている。fleetはホストがターミネートされたとしてもコンテナを稼働させ続ける。 CoreOSとfleetはクラスタ内のすべてのマシンと... 続きを読む

CoreOSに入門してみる (1) インストール - Qiita

2015/03/20 63 users Qiita Docker FLEET CoreOS クラスタ

1. はじめに CoreOSに入門してみました。 CoreOSはミニマムな新しいOSで、etcdというものでクラスタが組めてfleetというもので分散環境が構築できるらしい。 分散環境を構築したCoreOSクラスタ上で、Dockerによってアプリケーションを動かすらしい。 という程度の知識からスタートです。 何事もまずはインストールしないと、ということで本記事ではISOイメージからCoreOSのV... 続きを読む

Docker専用の軽量Linux OS「Red Hat Enterprise Linux 7 Atomic Host」正式版がリリース。Docker、Kubernetes、etcdなどを統合 － Publickey

2015/03/08 79 users Red Hat Publickey Docker 統合 正式版

Red Hatが開発していたDocker専用の軽量Linux OS「Red Hat Enterprise Linux 7 Atomic Host」の正式版のリリースが発表されました。 Red Hat Launches Red Hat Enterprise Linux 7 Atomic Host, Advances Linux Containers in the Enterprise | Red H... 続きを読む

etcd/consulに認証情報を安全に保存する | SOTA

2015/02/04 56 users consul PaaS Sota アーキテクチャ 環境変数

分散Key-Valueストアとしてetcdやconsulの利用が増えている．ここにアプリケーションの設定値などを保存し，各ホストからそれらを購読して利用する． また，X-as-a-Serviceといった外部サービスの利用も多くなってきた．その場合API Tokenやパスワードといった認証情報が必要になる．PaaSやTwelve-factor的なアーキテクチャを採用する場合は，それらの値を環境変数に... 続きを読む

CoreOS + etcd + fleetによるクラスタリング事始め - さくらのナレッジ

2014/09/25 81 users Docker FLEET CoreOS ナレッジ 全力

ITエンジニアに役立つ情報＆おもしろネタを、 ホスティング・データセンター業界の最前線から 全力でシェア！ CoreOSはDocker用に作られたとても小さなLinuxディストリビューションです。その中で提供されている大きな3つの機能として、Docker/etcd/fleetが知られています。この3つを組み合わせるとクラスタリング構成がとても簡単に実現できるようになります。 ということでさくらのク... 続きを読む

SkyDNS2のセットアップ方法 - Qiita

2014/07/22 17 users Qiita 明示 手順 構築手順 実行

概要 SkyDNS2 の実行環境を構築し、実行するまでの手順のまとめ。前提条件としての Etcd の環境構築と、SkyDNS の構築手順を含む。ただし、SkyDNS の実行や Etcd の運用に関する技術は扱わない。 また、当文章における SkyDNS とは、特に明示が無い限り2014年6月に再構成された SkyDNS2 を指す。SkyDNS2 は、サービス検出(Service Discovery... 続きを読む

etcd + docker で簡単にリモートコンテナに接続しよう - Qiita

2014/04/07 97 users Qiita Docker

Docker 盛り上がってますね。 色々使ってみるとこんなこと思うことありませんか？ NAT じゃなきゃ楽なのに 他ホストの Docker と Link できたら楽なのに そうです。色々使ってみるとネットワーク周りをどうするか？という問題にぶつかります。 導入、運用を考えてる方々は多くの場合、この問題に取り組まないといけなくなると思います。 では問題をおさらいしてみましょう Docker のネット... 続きを読む

etcd - CoreOS が提供してくれるもの - Qiita

2014/03/30 196 users Qiita Docker FLEET CoreOS 理解

CoreOS の提供してくれる etcd と fleet を少し触って見たのでまとめることにします。 あんまり頑張って CoreOS のドキュメントを読んでいないので理解に間違いがある可能性があるので、編集リクエスト大歓迎です。 CoreOS は Docker を提供してくれる便利 OS というイメージが広まってますが、それはあまり適切ではありません。 CoreOS はクラスター機能を持っているモ... 続きを読む

ZooKeeper vs. Doozer vs. Etcd | devo.ps

2013/09/11 38 users

While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration a... 続きを読む

Big Sky :: 分散環境情報サーバ etcd を使った設定共有の活用

2013/08/21 175 users Documentation ZooKeeper 一言 活用

etcd って何と聞かれた場合、一言で言ってしまえば zookeeper なんだけど Documentation · CoreOS etcd etcd is a highly-available key value store for shared configuration and service discovery. http://coreos.com/docs/etcd/ coreos/et... 続きを読む