［速報］Microsoft SQL Server 2019発表。SparkとHDFSを製品に統合、データ仮想化を搭載。Microsoft Ignite 2018 － Publickey

2018/09/24 67 users Publickey リレーショナルデータベース Spark

マイクロソフトは米フロリダで開催中のイベント「Microsoft Iginte 2018」で、同社のリレーショナルデータベースの次期バージョン「Microsoft SQL Server 2018」を正式に発表しました。 SQL Server 2019ではビッグデータの処理や機械学習への対応などが重視され、Apache SparkとHDFS（Hadoop Distributed File System）... 続きを読む

HDFSの現状と今後 (その1) - Qiita

2017/12/24 23 users Qiita Foundation 現状 entry https

まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Ro... 続きを読む

Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない - ブログなんだよもん

2017/07/11 35 users Hadoop shiumachi.hatenablog

2017 - 07 - 11 Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない 読み物 分散 id:shiumachi さんが書かれてる下記の記事がとても良かったです。 shiumachi.hatenablog.com 私自身もSparkを触る前は「 Hadoop == MapReduce 」と思ってましたが、どちらかというとYARNや HDFS が Hadoop フ... 続きを読む

Amazon EMRでS3DistCpを使用してHDFSとAmazon S3間で効率的にデータを移動するための7つのヒント | Amazon Web Services ブログ

2017/06/07 14 users Amazon EMR ヒント データ Amazon S3 7つ

Amazon Web Services ブログ Amazon EMRでS3DistCpを使用してHDFSとAmazon S3間で効率的にデータを移動するための7つのヒント by AWS Japan Staff | on 08 JUN 2017 | in Amazon EMR , Amazon S3 | Permalink Amazon S3 とHadoop Distributed File Sys... 続きを読む

HDFSのメンテナンスステート – Cloudera Japan Official Blog

2017/05/30 7 users セキュリティパッチ 原文 最中 http Blog

HDFSのメンテナンスステート 原文: http://blog.cloudera.com/blog/2017/05/hdfs-maintenance-state/ はじめに: OSの更新、セキュリティパッチの適用、修正プログラムなどのシステムのメンテナンス作業は、どのデータセンターでも日常的な作業です。 このようなメンテナンス作業を行っている最中のDataNodeは、数分から数時間の間オフラインに... 続きを読む

HDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例 - Yahoo! JAPAN Tech Blog

2017/03/07 32 users Yahoo 運用事例 Hadoop 浅沼 分散

はじめに こんにちは。Yahoo! JAPANでHadoopに携わっているエンジニアの浅沼です。Hadoopは大量のデータを分散処理するためのオープンソースソフトウエアです。この夏にリリース予定のバージョン3.0系には、HDFSの新機能であるErasure Codingが導入されます。Yahoo! JAPANではHadoopコミュニティーでErasure Codingの実装に参加してきました。本記... 続きを読む

HDFSのイレイジャーコーディング (Erasure Coding) | Tech Blog

2015/09/25 20 users Hadoop Cloudera ターゲット ブログ

以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発さ... 続きを読む

HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1) | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2015/03/02 367 users Hadoop Cloudera リーディングカンパニー 原文

投稿日: 2015/03/03 本記事は、Cloudera のソフトウェア・エンジニア Yongjun Zhang による記事を翻訳したものです。原文についてはこちらをご覧ください。 HDFSの重要な設計要件のひとつとして、連続的かつ正確な動作の保証が挙げられる。ネットワークやノード障害時に、HDFSへの書き込みの正確さを保証することは複雑な問題のひとつと言えるだろう。これは、リースリカバリ、ブロ... 続きを読む

EMC、「クラウドのストレージより安価」なエクサバイトクラスのストレージ機器「EMC Elastic Cloud Storage」発表。EMC World 2014 － Publickey

2014/05/07 20 users Publickey EMC Nile ストレージ クラウド

EMCはラスベガスで開催中の「EMC World 2014」で、クラウドスケールのストレージを簡単に実現できるアプライアンス「EMC Elastic Clous Storage Appliance」（EMC ECSアプライアンス）を発表しました。 EMC ECSアプライアンスはコード名Project Nileと呼ばれていたもので、オブジェクトストレージ、HDFS、ブロックストレージに対応。エクサバ... 続きを読む

HDFSのショートサーキット雑感 | Tech Blog

2013/08/19 8 users クライ 必読 お盆休み 興味深い内容 Tech Blog

HDFSのShort-Circuit Local Readについてのブログ記事を読んで 先週お盆休みに公開されたブログ、「How Improved Short-Circuit Local Reads Bring Better Performance and Security to Hadoop」には興味深い内容が書いてあります。これは必読では？と思ったので、少しまとめてみます。 元々の処理 クライ... 続きを読む

東の空が朱く染まるように 忍者ツールズを支える自作サーバーたち

2011/06/29 37 users 忍者ツールズ Hadoop HBase サイバーエージェント

実は忍者ツールズでは一部自作サーバーを使っているサービスがあります。 [忍者アナライズ] Hadoopに最適化したサーバーで、HDFS、HBase等が動いているサーバーです。 そして、今回新たにサーバーリプレースに合わせて新自作サーバーを構築しました。 このサーバーが適用されるサービスはほぼすべて。 バックエンドシステムの更新を行う過程において導入を決めました。 参考にしたのはサイバーエージェント... 続きを読む

HDFS: Realtime Hadoop usage at Facebook -- Part 1

2011/05/19 15 users Platform Tuesday Part 1 May 17

Tuesday, May 17, 2011 Realtime Hadoop usage at Facebook -- Part 1 Facebook recently deployed Facebook Messages, its first ever user-facing application built on the Apache Hadoop platform. It uses HDFS... 続きを読む

分散データベース「HBase」の安定運用を目指して : Preferred Research

2011/05/09 224 users Hadoop HBase ZooKeeper エントリ ヘタ

1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File... 続きを読む