【ストレージ初心者向け】分散ストレージ、Cephの速度を計る（１） - Qiita

2020/12/07 12 users Qiita Ceph ストレージシステム ＲＯＯＫ 速度

こんにちは。「Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020」6日目は、タイトルの通り、ストレージ初心者だった筆者がCephのベンチマークを計測した際に学んだストレージシステムの性能指標とCephに代表されるような分散ストレージを計測する上での特徴や注意点について簡単にまとめます。 ... 続きを読む

Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表 － Publickey

2020/10/11 25 users Publickey ＲＯＯＫ Kubernetes CNCF

Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表 Kubernetesなどのソフトウェア開発をホストしている団体「Cloud Native Computing Foundation」（CNCF）は、Kubernetesを分散ストレージのプラットフォームにする「Rook」... 続きを読む

Kubernetesで利用可能な分散ストレージのOpenEBSを探求してみた - Cybozu Inside Out | サイボウズエンジニアのブログ

2018/03/28 50 users Kubernetes NECO サイボウズエンジニア 池添

2018 - 03 - 29 Kubernetesで利用可能な分散ストレージのOpenEBSを探求してみた Neco 検証 こんにちは、アプリケーション基盤チームの池添（ @zoetro ）です。 サイボウズでは、cybozu.comのアーキテクチャ刷新プロジェクト（Necoプロジェクト）を実施しています。 アーキテクチャ刷新プロジェクト「Neco」の紹介 運用本部長を退任して Neco プロジェ... 続きを読む

Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も － Publickey

2018/02/06 62 users Publickey ＲＯＯＫ Ceph Kubernetes

Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も Cloud Native Computing Foundationは、Kubernetesにストレージ機能を統合する「Rook」を15番目のプロジェクトとして承認した。Rookの最初のターゲットはKubernetesにCep... 続きを読む

Blockchainを使用した分散ストレージ – Kenichi Nakahara – Medium

2017/12/24 30 users Blockchain medium トークン 偽造 思想

Blockchainを使用した分散ストレージ ブロックチェーンの活用方法は、単に金銭やトークンの受け渡しのみに留まらず、多岐に渡ります。事実上誰もがアクセス可能なデジタルな空間に、誰も偽造ができない情報を作成できることに価値があるわけです。 そのアプリケーションの一つとして、分散ストレージの共有が面白いと思ったので関連するサービスや研究を紹介します。 共通する思想 紹介する事例はどれもシャアリング... 続きを読む

MySQLの高可用性構成の展望2017年版(赤ちゃん編) | Yakst

2017/11/05 24 users Yakst Aurora プロキシ MySQL データーベース

シリーズ第三回目で、「グループレプリケーション」「プロキシ」「分散ストレージ」について紹介している。グループレプリケーションはGaleraとの違いについて、プロキシには幾つかの選択肢があること、分散ストレージではオープンソースのAuroraのようなデーターベースが可能になることなどが述べられている。 この記事は、2017年現在で使用できるMySQLの高可用性ソリューションに焦点を当てたシリーズの第... 続きを読む

インメモリデータベースのMemSQL、マネージドサービスをAWSとAzure、Google Cloudで提供すると発表。リアルタイム検索可能なデータウェアハウス実現 － Publickey

2017/06/20 41 users Publickey MemSQL マネージドサービス AWS

MemSQLはリアルタイムに分析や検索が可能なデータウェアハウスを実現するためのインメモリデータベース。分散処理に対応して性能と容量が向上するのに加え、メモリだけでなく分散ストレージにも対応してデータを配置するため、ペタバイトクラスの大規模データを扱えるスケーラビリティも備えていると説明されています。 ほかのデータベースからのデータのロードや、Kafkaなどを経由してIoTからストリーミングデータ... 続きを読む

CoreOS、コンテナに最適化した分散ストレージ「Torus」の開発中止を明らかに。期待したほど開発の速度が上がらなかったと － Publickey

2017/02/19 24 users Publickey CoreOS etcd Torus 速度

CoreOS、コンテナに最適化した分散ストレージ「Torus」の開発中止を明らかに。期待したほど開発の速度が上がらなかったと CoreOSは 2016年6月に開発をスタート したKubernetesで稼働するコンテナに最適化したストレージ「 Torus 」の開発がこの2月で終了したことを 明らかにしました 。 Torusは、etcdを用いてシンプルで信頼性の高い分散ストレージを実現するソフトウェア... 続きを読む

Dockerが分散ストレージのInfinitを買収。Dockerに欠けていた最後のピースであるストレージが埋まった － Publickey

2016/12/07 115 users Publickey Docker Infinit ストレージ

Dockerが分散ストレージのInfinitを買収。Dockerに欠けていた最後のピースであるストレージが埋まった Dockerは分散ストレージソフトウェアの新興企業である「 Infinit 」の買収を 発表しました 。 Infinitは同名の分散ストレージソフトウェアを開発している企業。そのソフトウェアはまだバージョン1.0に到達していません。また、現在オープンソースにとして公開すべく 準備中で... 続きを読む

CoreOS、コンテナに最適化した分散ストレージ「Torus」を発表 － Publickey

2016/06/05 143 users Publickey CoreOS Torus EMC ノート

米EMCとCoreOSが相次いで、コンテナに適したストレージ機能を実現するためのソフトウェアをオープンソースで公開しました。両社はそれぞれ異なるアプローチでコンテナに適したストレージを実現しようとしています。 この記事ではCoreOSが発表した「 Torus 」を紹介します。EMCがオープンソースで公開した「 libstorage 」は、 1つ前の記事で紹介しています 。 ノードを集めてストレージ... 続きを読む

Ansible playbookで1台でも失敗したら即座に実行を止める方法 - tagomorisのメモ置き場

2014/12/12 50 users tagomoris task PlayBook 即座 タスク

毎回あれー？ってなってドキュメント読んだりググったりするんだけどうまく見付けられないので書いておく。Ansibleはデフォルトだとtaskの実行が全ホストで失敗しない限り続く。言いかえると、あるタスクがあるホストで失敗したらそのホストについては以降実行されないが、成功した他のホストについてはplaybookの実行は継続される。これは特に分散ストレージのセットアップなどにおいて、大変よくない。よくな... 続きを読む

SUSE、Cephベースの分散ストレージ「SUSE Storage」のベータ版を発表 － Publickey

2014/12/04 21 users SUSE Publickey Ceph ストレージ 特長

SUSEは、オープンソースとして開発されている分散ストレージ「Ceph」をベースにした「SUSE Storage」のベータ版を発表しました。 Cephはストレージを備えた複数のLinuxサーバを束ねて巨大なストレージに見せる分散ストレージを実現するソフトウェアです。数ペタバイトにまで容量を増やせる高いスケーラビリティと、自己管理機能および自己修復機能を備えているのが特長。 オブジェクトストレージと... 続きを読む

分散ストレージ｜IaaS　ソフトバンクの法人向けクラウドサービス

2014/02/06 7 users IaaS クラウドストレージサービス Inc 容量無制限 形式

「ホワイトクラウド 分散ストレージ」は、容量無制限のクラウドストレージサービスです。 高い安定性を誇る日本最大規模のYahoo! JAPANのネットワークおよびサーバインフラ環境をそのまま利用することができ、あらゆる形式のデータを保存することが可能です。 また、米国Basho Technologies, Inc.（バショー・テクノロジーズインク）が持つ分散型データベース技術を用いたストレージプラッ... 続きを読む

ASCII.jp：インテルまで巻き込んだ石狩データセンターの実験の成果 (1/2)

2013/10/15 22 users インテル 分散ストレージシステム 開所以来 実験 成果

インテル主催の石狩データセンターの最新レポート第2弾は、「最新技術の実験場」としてのデータセンターの役割について見ていく。インテル参加の分散ストレージ、開所以来取り組んできた直流給電、注目度の高い超伝導送電までじっくり解説する。 1ビットを1番安価に保存する分散ストレージサービス 今回披露されたのが、インテルとさくらインターネットとの共同研究で実現した分散ストレージシステムだ。これは2013年5月... 続きを読む

Shunsuke Nakamura「世界規模のインフラを支えるエンジニアになる」: NHN Japan 採用情報

2012/04/25 12 users Shunsuke Nakamura インフラ エンジニア

世界規模のインフラを支えるエンジニアになる Q. お仕事の御説明を簡単にお願いします 急速に成長しつつあるLINEの今後の発展に向けて、よりScalableかつAvailableなサーバーの開発・運用をしています。 ストレージ回りを中心に見ていますが、それに限らず幅広いレイヤーを担当します。 Q. 入社してよかったと思うこと 研究でやっていた分散ストレージの経験を十分に生かしながら、優秀なチームメ... 続きを読む

グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineers' Blog

2010/07/12 349 users GREE グリー GREE Engineers ユーザ 上限

はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている “GREE” ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。ま... 続きを読む

Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件

2009/06/10 244 users Kazuho@Cybozu Labs 名前

大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。... 続きを読む