マレーシア航空旅客機の衛星画像をビッグデータ解析 - iAnalysis 〜おとうさんの解析日記〜

2014/03/12 20 users 衛星画像 ビッグデータ解析 解析日記

マレーシア航空のいろんな話題が飛び交っている中、Twitterで「【助けて】全世界のインターネットユーザーに協力を呼びかけ！ この写真から「消息を絶ったマレーシア航空の旅客機」を見つけてください」という記事を見つけました。 衛星写真の画像が大量にあるので、人海戦術で破片を見つけよう、という趣旨です。私は分析屋なので、データサイエンスを使って手助けできないか？と思い、少し分析してみました。何かの一助... 続きを読む

RでDeep Learningの一種をやってみる - iAnalysis 〜おとうさんの解析日記〜

2013/04/04 28 users 一種 Deep learning 解析日記 亜種 プログラム

このブログのTips052で、RでDeep Learningをやっているのを紹介してもらったので、自分も試してみました。「Deep Learningすげぇ！！」という話は良く聞くのですが、亜種がいっぱいあるみたいで、まだあまり調査しきれてません。また時間があれば調査してまとめられると良いのですが。以下、RでDA(Denoising Autoencoders)を実行するプログラムです。 sigmoi... 続きを読む

MapReduceできる10個のアルゴリズム - iAnalysis 〜おとうさんの解析日記〜

2012/05/27 326 users アルゴリズム Mahout Hadoop 解析日記 論文

HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています... 続きを読む

一年で身に付ける！Rと統計学・機械学習の4ステップ - iAnalysis 〜おとうさんの解析日記〜

2012/03/30 743 users 統計学 機械学習 解析日記 後輩 フロー

久しぶりの投稿です。この一年間、Rの勉強会などに参加したり主催したりしてきて、後輩や勉強会の方々の話をいろいろ聞くとこができました。そんな中、一年間でRと統計学・機械学習を身に付けれるようなフローを作れるかも？と思ったので、ここで記録しておきます。統計学や機械学習は理論を勉強するだけでなく、Rで実際に解析してみることで、より理解が深まります。 ステップ1. 分布・検定理論統計学入門 (基礎統計学)... 続きを読む

メモ：大量データをプロットするときの濃淡プロット - iAnalysis 〜おとうさんの解析日記〜

2011/11/29 25 users メモ 解析日記 大量データ

データが多くなってくると散布図が真っ黒になってしまうので、濃淡を付けることでどこに集中しているかが分かります。マイクロアレイ系でよく使われる Bioconductorというプロジェクトのパッケージを使うので、通常のパッケージをインストール方法が違います。 インストール source("http://www.bioconductor.org/biocLite.R") biocLite("prada"... 続きを読む

データマイニングで使われるトップ10アルゴリズム - iAnalysis 〜おとうさんの解析日記〜

2011/11/23 1626 users データマイニング 私見 論文 手法 機械学習

2008年のデータマイニング学会、IEEE ICDMで選ばれたデータマイニングで使われるトップ10アルゴリズムに沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。　必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は論文をご確認下さい。また、データマイニングの全体観をサーベイした資料がありますので、こちらも併せて... 続きを読む