第9回［最終回］　データパイプラインのためのワークフロー管理：これなら使える！ビッグデータ分析基盤のエコシステム｜gihyo.jp … 技術評論社

2015/12/07 29 users ワークフロー管理 gihyo.jp データパイプライン 一連

基本KPIや応用KPIが決まり，実際に，毎日の運用の中で定期的にデータを更新して，可視化するためには，一連の処理を自動化する必要があります。今回は，データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下，パイプライン）とは，データ処理を行なう小さなタスク（1回のファイルコピーや，SQLの実行など）を順次実行すること... 続きを読む

第1回　ビッグデータ分析を始めよう：これなら使える！ビッグデータ分析基盤のエコシステム｜gihyo.jp … 技術評論社

2015/09/07 52 users gihyo.jp エコシステム 技術評論社 ビッグデータ分析

ビッグデータ分析エンジンを比較してみると，ビッグデータを処理する一般的なインターフェースとしてSQLが提供されていることが主となっています。こうして見ると，最近流行っているビッグデータを使った分析とは，SQLによる分析が主となっていることがわかります。 さらに，他の機能を見てみると，スケジューリングや依存関係を考慮したジョブの実行，データの可視化などは分析エンジン自体は備えておらず，別途用意する利... 続きを読む

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する （1/3）：CodeZine

2015/04/24 263 users CodeZine RDBMS Hadoop VM環境 起動

この連載では、フリーのVM環境「Cloudera Quick Start VM」を使って、ビッグデータ分析に必要な各種技術（データの取込み、非構造化データの分析、機械学習、全文検索など) を学習します。この連載を読むことで、ビッグデータ分析基盤に必要な基礎技術を学ぶことができます。第1回では、VM環境のダウンロードと起動、RDBMSからHadoopへのデータのインポート、Hadoop上でのテーブル... 続きを読む

Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート ｜ Developers.IO

2014/11/25 57 users TreasureData クラスメソッド 顧客理解 様子 開催

Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート 11/13(木)に「顧客理解のためのビッグデータ分析基盤」という勉強会をTalendさん、TreasureDataさんと一緒に開催をしました。クラスメソッドからは甲木が登壇したので、その様子をレポートしたいと思います。 Talend や TreasureData について、名前はよ... 続きを読む

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ - ＠IT

2014/06/26 34 users Cloud Dataflow サンフランシスコ グーグル

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ Google I/Oでは、多様なデバイスに注力する発表が相次いだ一方で、データ分析基盤サービスの発表もあった。ストリーム処理もバッチ処理もシンプルな実装で実現する。 米グーグルは2014年6月15日にサンフランシスコで開いた年次開発者会議「Google I/O 201... 続きを読む

News ＆ Trend - 次世代Hadoop最有力候補の「Spark」、動き始めたエコシステム：ITpro

2014/06/23 34 users trend ITpro ASF Spark Hadoop

次世代Hadoopの有力なビッグデータ分析基盤として期待を集めているフレームワークがある。Apache Software Foundation（ASF）のオープンソースソフト（OSS）プロジェクトである「Spark」だ。インメモリー処理が特徴で、Hadoopにおける処理方式の一つである「MapReduce」を用いた場合と比べて最大で100倍以上、分析処理を高速化できる。 Sparkは当初、研究用途... 続きを読む