Apache Kafkaにも注目 ―Hadoop, Spark，分散処理フレームワークをめぐる2019年：新春特別企画｜gihyo.jp … 技術評論社

2019/01/08 12 users Apache Spark 展望 Hadoop 活用 中心

あけましておめでとうございます。 今年も大規模データ向けの分散処理フレームワークの展望についてご紹介します。例年Apache HadoopとApache Sparkを中心にお届けしておりましたが，今年はこれらに加えて，2018年に活用が広がりが認知された分散メッセージシステムのApache Kafkaについても 同様に取り上げたいと思いま... 続きを読む

Sparkと機械学習と時々MPI « LINE Engineers' Blog

2016/12/20 2666 users Spark 勾配 久保 LINE Engineers 機械学習

はじめに こんにちは、LINEで機械学習エンジニアを担当している久保です。この記事はLINE Advent Calendar2016の14記事目です。 今回の記事は、機械学習の（勾配などの）基本的な知識を持ち、Sparkにおける機械学習に興味がある人向けの内容となっています。 Sparkは大規模なデータのための分散処理フレームワークとして人気があり、弊社でも機械学習関連の開発において利用しています... 続きを読む

ニュース - Acroquest TechnologyがStorm上で動作する機械学習向けライブラリをOSSとして公開：ITpro

2014/01/30 28 users ITpro GitHub OSS ライブ ニュース

Acroquest Technologyは2014年1月30日、分散処理フレームワークのStorm上で動作する機械学習向けライブラリ「AcroMUSASHI Stream-ML（Machine Learning Library）」をOSSとして公開した。Acroquest TechnologyのGitHubのページからダウンロードできる。 AcroMUSASHI Stream-MLに含まれるライブ... 続きを読む

NECがビッグデータの機械学習を高速化する技術を開発、インメモリー処理やMPIを導入---NEC グリーンプラットフォーム研究所 主任研究員 荒木拓也氏：ITpro

2013/11/13 25 users MPI Hadoop ITpro 演算 NEC

NECがビッグデータの機械学習を高速化する技術を開発、インメモリー処理やMPIを導入 NEC グリーンプラットフォーム研究所 主任研究員 荒木拓也氏 NECは、ビッグデータ分析を高速化する分散処理フレームワーク「Feliss」を開発した（発表資料）。ビッグデータ分析でよく用いられるHadoopは、Map-Reduce型の単純な分析であれば高速に実行できるが、繰り返し演算を多用する機械学習処理では、... 続きを読む