Python: Null Importance を使った特徴量選択について - CUBE SUGAR CONTAINER

2020/08/05 7 users Python ジャップ 目的変数 手法 重要度

今回は特徴量選択 (Feature Selection) の手法のひとつとして使われることのある Null Importance を試してみる。 Null Importance というのは、目的変数をシャッフルして意味がなくなった状態で学習させたモデルから得られる特徴量の重要度を指す。 では、それを使ってどのように特徴量選択をするかというと、シャッフ... 続きを読む

Feature Importanceって結局何なの？｜Yotaro Katayama｜note

2020/07/07 19 users Yotaro Katayama Note 定量化 手法 計算

この記事の目的GBDT(Gradient Boosting Decesion Tree)のような、決定木をアンサンブルする手法において、特徴量の重要性を定量化し、特徴量選択などに用いられる”Feature Importance”という値があります。 本記事では、この値が実際にはどういう計算で出力されているのかについて、コードと手計算を通じて納得すること... 続きを読む

Python: RFE (Recursive Feature Elimination) で特徴量を選択してみる - CUBE SUGAR CONTAINER

2019/04/20 50 users アルゴリズム Python ノイズ ロバスト 手法

今回は RFE (Recursive Feature Elimination) と呼ばれる手法を使って特徴量選択 (Feature Selection) してみる。 教師データの中には、モデルの性能に寄与しない特徴量が含まれている場合がある。 アルゴリズムがノイズに対して理想的にロバストであれば、有効な特徴量だけを読み取って学習するため特徴量選択は不要か... 続きを読む

特徴量選択の今と新展開 - 機械学習を学習する天然ニューラルネットワーク

2019/02/10 295 users 大別 機械学習 アルゴリズム 新展開 冗長性

特徴量選択とは 特徴量選択の難しさ 特徴量選択の手法の大別 教師ありの特徴量選択 filter method 単変量とクラスラベルの関連性を上げる 関係性を上げて冗長性を下げる 関係性を上げて多様性を上げる wrapper method Forward SelectionとBackward Elimination 遺伝的アルゴリズムと粒子群最適化 その他のwrapper method... 続きを読む

ランダムフォレストと検定を用いた特徴量選択手法 Boruta - 機械学習を学習する天然ニューラルネットワーク

2019/01/05 219 users アルゴリズム 判別 検定 ランダムフォレスト 訓練

特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、... 続きを読む

機械学習で株価予測～scikit-learnで株価予測④：世界の主要指数の追加～ │ 似非ITエンジニアからの脱却

2018/10/14 60 users scikit-learn 脱却 株価 株価予測 精度

機械学習で株価を予測することに挑戦していきます。今回は世界の主要指数を説明変数に加え、精度を改善できるかを確認します。 関連記事 機械学習で株価予測～scikit-learnで株価予測①～ 機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ 機械学習で株価予測～scikit-learnで株価予... 続きを読む

機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ │ 似非ITエンジニアからの脱却

2018/08/12 73 users scikit-learn 脱却 株価 株価予測 株価データ

機械学習で株価を予測することに挑戦していきます。前回に引き続き、scikit-learnで過去の株価データを基に学習し、株価予測を行います。今回は特徴量選択とデータの標準化、正規化を実践します。 前回：機械学習で株価予測～scikit-learnで株価予測①～ 環境 OS:Windows10 Python：3.6.5 sklearn：0.19.2 概要 目標 様々... 続きを読む