Feature Importanceって結局何なの？｜Yotaro Katayama｜note

2020/07/07 19 users Yotaro Katayama Note 定量化 手法 計算

この記事の目的GBDT(Gradient Boosting Decesion Tree)のような、決定木をアンサンブルする手法において、特徴量の重要性を定量化し、特徴量選択などに用いられる”Feature Importance”という値があります。 本記事では、この値が実際にはどういう計算で出力されているのかについて、コードと手計算を通じて納得すること... 続きを読む

Python: RFE (Recursive Feature Elimination) で特徴量を選択してみる - CUBE SUGAR CONTAINER

2019/04/20 50 users アルゴリズム Python ノイズ ロバスト 手法

今回は RFE (Recursive Feature Elimination) と呼ばれる手法を使って特徴量選択 (Feature Selection) してみる。 教師データの中には、モデルの性能に寄与しない特徴量が含まれている場合がある。 アルゴリズムがノイズに対して理想的にロバストであれば、有効な特徴量だけを読み取って学習するため特徴量選択は不要か... 続きを読む

特徴量選択の今と新展開 - 機械学習を学習する天然ニューラルネットワーク

2019/02/10 295 users 大別 機械学習 アルゴリズム 新展開 冗長性

特徴量選択とは 特徴量選択の難しさ 特徴量選択の手法の大別 教師ありの特徴量選択 filter method 単変量とクラスラベルの関連性を上げる 関係性を上げて冗長性を下げる 関係性を上げて多様性を上げる wrapper method Forward SelectionとBackward Elimination 遺伝的アルゴリズムと粒子群最適化 その他のwrapper method... 続きを読む

ランダムフォレストと検定を用いた特徴量選択手法 Boruta - 機械学習を学習する天然ニューラルネットワーク

2019/01/05 219 users アルゴリズム 判別 検定 ランダムフォレスト 訓練

特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、... 続きを読む

機械学習で株価予測～scikit-learnで株価予測④：世界の主要指数の追加～ │ 似非ITエンジニアからの脱却

2018/10/14 60 users scikit-learn 脱却 株価 株価予測 精度

機械学習で株価を予測することに挑戦していきます。今回は世界の主要指数を説明変数に加え、精度を改善できるかを確認します。 関連記事 機械学習で株価予測～scikit-learnで株価予測①～ 機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ 機械学習で株価予測～scikit-learnで株価予... 続きを読む

機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ │ 似非ITエンジニアからの脱却

2018/08/12 73 users scikit-learn 脱却 株価 株価予測 株価データ

機械学習で株価を予測することに挑戦していきます。前回に引き続き、scikit-learnで過去の株価データを基に学習し、株価予測を行います。今回は特徴量選択とデータの標準化、正規化を実践します。 前回：機械学習で株価予測～scikit-learnで株価予測①～ 環境 OS:Windows10 Python：3.6.5 sklearn：0.19.2 概要 目標 様々... 続きを読む