分散ファイルシステムはブロックチェーンの夢を見るか - Mercari Engineering Blog

2017/12/01 191 users Mercari Engineering Blog 初日

2017 - 12 - 01 分散ファイルシステムはブロックチェーンの夢を見るか 今年からメルカリでも Mercari Advent Calendar 2017 と称してAdvent Calendarを始めることとなりました。 初日は id:stanaka / @stanaka がロンドンよりお届けします。 分散ファイルシステムという言葉を聞くと、トラウマを刺激され、うっと頭を抱える人も多いかと思... 続きを読む

ドワンゴがRustで分散ファイルシステムを作っているらしい - テストステ論

2017/02/26 228 users rust ツテ オープンソー テストステ論 ドワンゴ

2017 - 02 - 25 ドワンゴがRustで分散ファイルシステムを作っているらしい gihyo.jp ドワンゴ が 分散ファイルシステム を作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は 分散ファイルシステム も独自に開発しました。もともと既存の オープンソー... 続きを読む

NHKがネット経由でムービー編集できる「フレキシブル制作システム」のソースコードを無料公開開始 - GIGAZINE

2011/05/24 544 users NHK技研 GIGAZINE 制作 ウェブ上 システム

NHK技研がウェブ上のどこからでも、編集作業用パソコン一台で高度な番組編集・制作ができるシステムを開発し、なんとそのソースコードを無料で公開開始しました。 今回公開されたのは「フレキシブル制作システム（ウェブ編集システム）」「分散ファイルシステム」「挿入削除機能付きファイルシステム」「高速ファイル転送システム」「素材作成用MXFライブラリ」で、単純にソースコードが置いてあるだけでなく、コンパイル方... 続きを読む

グーグル発「Hadoop」、日本企業も利用へ - 「情報爆発」を支えるテクノロジー：ITpro

2011/01/17 453 users Hadoop ITpro GFS MapReduce グーグル

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムをオープンソース化したものだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモル... 続きを読む

Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について

2006/10/12 303 users MogileFS perl Six Apart 酒井 Blog

初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステム... 続きを読む

アリエル　エリア - ドキュメント-Google File System(GFS)技術メモ

2005/10/20 303 users GFS Labs アリエル Papers GNU

Google file system(GFS) * 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動... 続きを読む