分散ファイルシステムはブロックチェーンの夢を見るか - Mercari Engineering Blog

2017/12/01 191 users Mercari Engineering Blog 初日

2017 - 12 - 01 分散ファイルシステムはブロックチェーンの夢を見るか 今年からメルカリでも Mercari Advent Calendar 2017 と称してAdvent Calendarを始めることとなりました。 初日は id:stanaka / @stanaka がロンドンよりお届けします。 分散ファイルシステムという言葉を聞くと、トラウマを刺激され、うっと頭を抱える人も多いかと思... 続きを読む

ドワンゴがRustで分散ファイルシステムを作っているらしい - テストステ論

2017/02/26 228 users rust ツテ オープンソー テストステ論 ドワンゴ

2017 - 02 - 25 ドワンゴがRustで分散ファイルシステムを作っているらしい gihyo.jp ドワンゴ が 分散ファイルシステム を作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は 分散ファイルシステム も独自に開発しました。もともと既存の オープンソー... 続きを読む

第2回　大量トラフィックを支えるインフラ～独自プロトコル，ファイルシステムの実装もいとわない！～：ドワンゴのエンジニア魂｜gihyo.jp … 技術評論社

2017/02/24 85 users ドワンゴ プロトコル 大量トラフィック 土台 インフラ

大量のユーザーを抱える 「 ニコニコ動画 （ニコ動）⁠ 」 ⁠ 「 ニコニコ生放送 （ニコ生）⁠ 」 をさらに進化させるべく， ドワンゴでは土台となる基盤を見直し， 大幅なアップデートを実施した。 ドワンゴ のエンジニアである原耕司氏 （ 写真1 ）⁠ ， 太田健氏 （ 写真2 ）⁠ ， 川平航介氏 （ 写真3 ） の3名にお話を伺い， プロトコルや分散ファイルシステムまで独自に開発したという， ... 続きを読む

Glusterの設立者が手がける「Amazon S3」互換のオープンソースオブジェクトストレージ「Minio」 | OSDN Magazine

2015/06/18 75 users Minio OSDN Magazine ライブラリ 互換 発足

オープンソースのクラウドストレージ技術ベンダー米Minioが6月17日、正式に発足を発表した。合わせて「Amazon S3」とAPI互換の「Minio Server」を公開、クライアントとライブラリも入手できる。 Minioを立ち上げたのはオープンソースの分散ファイルシステム「Gluster」の設立者Anand Babu Periasamy氏（Glusterは2011年に米Red Hatに買収され... 続きを読む

NHKがネット経由でムービー編集できる「フレキシブル制作システム」のソースコードを無料公開開始 - GIGAZINE

2011/05/24 544 users NHK技研 GIGAZINE 制作 番組編集 ウェブ上

NHK技研がウェブ上のどこからでも、編集作業用パソコン一台で高度な番組編集・制作ができるシステムを開発し、なんとそのソースコードを無料で公開開始しました。 今回公開されたのは「フレキシブル制作システム（ウェブ編集システム）」「分散ファイルシステム」「挿入削除機能付きファイルシステム」「高速ファイル転送システム」「素材作成用MXFライブラリ」で、単純にソースコードが置いてあるだけでなく、コンパイル方... 続きを読む

Hadoop 分散ファイルシステムの紹介

2011/03/04 54 users Hadoop 紹介

「送信する」をクリックすることにより、お客様は developerWorks のご使用条件に同意したことになります。 ご使用条件を読む。developerWorks に初めてサインインすると姓名と developerWorks に登録した際に特定したディスプレイ・ネームを含むプロフィールが作成されます。プロフィールで選択した情報は公開されますが、いつでもその情報を編集できます。お客様の姓名（非表示... 続きを読む

グーグル発「Hadoop」、日本企業も利用へ - 「情報爆発」を支えるテクノロジー：ITpro

2011/01/17 453 users Hadoop ITpro GFS MapReduce グーグル

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムをオープンソース化したものだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモル... 続きを読む

Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について

2006/10/12 303 users MogileFS perl Six Apart 酒井 Blog

初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステム... 続きを読む

アリエル　エリア - ドキュメント-Google File System(GFS)技術メモ

2005/10/20 303 users GFS Labs アリエル Papers GNU

Google file system(GFS) * 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動... 続きを読む