代理モデルによる機械学習モデルの説明 - Qiita

2021/09/25 13 users Qiita DNN 推論 機械学習モデル etc

はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの... 続きを読む

XGBoostのお気持ちを一部理解する - Qiita

2019/03/21 57 users Kaggler xgboost Kaggle Qiita 論文

現在、Kaggleにてよく使われる手法の一つにGBDT(Gradient Boosting Decision Tree)があります。さらにその種類の１つXGBoostはKagglerによりその効果を検証され非常に人気の高いアルゴリズム・実装です。このブログでは、XGBoostの論文からアルゴリズムを理解するための主要な部分、 * 2. TREE BOOSTING IN A NUTSHELL *... 続きを読む

Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。

2015/01/25 46 users 分析 おはなし observation 重み パッケージ

Gradient Boosting Decision Tree(GBDT)を勉強したので、その概要とRでのパッケージの簡単な使い方を乗っけておきます。 1. そもそもGBDTってなんだよっていう話。 単純に言えば、複数の決定木を作成して、集団で学習させる方法の事です。 １本決定木を作り、上手くモデルで説明が出来なかったobservationに対して重みを付け、重みのついた状態で次の木を作り、また重... 続きを読む