Feature Importanceって結局何なの？｜Yotaro Katayama｜note

2020/07/07 19 users Yotaro Katayama Note 定量化 手法 計算

この記事の目的GBDT(Gradient Boosting Decesion Tree)のような、決定木をアンサンブルする手法において、特徴量の重要性を定量化し、特徴量選択などに用いられる”Feature Importance”という値があります。 本記事では、この値が実際にはどういう計算で出力されているのかについて、コードと手計算を通じて納得すること... 続きを読む

【Pythonで決定木 & Random Forest】タイタニックの生存者データを分析してみた - Np-Urのデータ分析教室

2019/07/18 86 users Kaggle Np-Ur タイタニック タイタニック号 性別

前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。 これは、kaggleという世界的なデ... 続きを読む

特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット

2019/07/15 212 users バイアス 天然ニューラルネット EDA Kaggle 洞察

なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアス... 続きを読む

小説家になろうを機械学習でデータ分析してブックマーク10以上を獲得しやすい条件を探す - Qiita

2019/06/14 199 users Qiita Python 最小二乗法 単語 箇所

はじめに これを書いてる人の機械学習・データ分析のスキルはpythonの拡張子が.pyであることを知ってから10日目ぐらい、「決定木」「最小二乗法」「特徴量」「RMSE」といった単語を初めて見てから7日目ぐらいといったレベルです。なのでより良い方法がある場合や、分析の途中間違っている箇所などがあればコメント欄等で... 続きを読む

決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog

2018/09/30 585 users Graphviz 可視化ライブラリ ライブラリ ヤツ 衝撃

こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けたので、そこで使われていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリ... 続きを読む

[Python]インスタ映えする決定木を描く - Qiita

2018/03/18 63 users Qiita TITANIC Python Iris インスタ

はじめに 概要 この記事ではPythonをつかって↓こんなのをつくります GraphVizによる決定木描画の不満点 機械学習が流行の今、pyhtonにおいてはscikit-learnを使う方が多いですよね。 その第一歩として、sklearnのDecisionTreeClassifierでIrisやTitanicを決定木分析するかと思います。 （ぼくはそうでした） sklearnのDecisionT... 続きを読む

【Techブログ】XGBoostにおける単調性制約について調べてみた | Sansan株式会社

2018/02/27 13 users xgboost DSOC 勾配ブースティング ライブラリー

お久しぶりです。DSOC R&Dグループの 中野 です。 今回は、機械学習界隈の皆さんが大好きな XGBoost の一機能と Probability calibration について調べたことを報告します。 背景 社内で解釈しやすい決定木について議論する機会があり、勾配ブースティングのライブラリーであるXGBoostでは 単調性制約 を加えることができることを紹介しました。その場では、「指定した上... 続きを読む

Google Cloud Platform Japan 公式ブログ: どの GCP サービスを選ぶ？ 正しい選択のための決定木

2017/07/18 18 users GCP 正しい選択 公式ブログ サービス

続きを読む

決定木による学習 | Code Craft House

2015/06/06 51 users 学習 チューリップ 花びら 順番 手法

決定木による機械学習 決定木は、根から順番に条件分岐を辿っていくことで結果を返します。特に分類問題で用いられる場合には「分類木」と呼ばれます。ここでは、与えられたデータを元に、自動的に分類木を構成する方法について説明します。機械学習の手法の中でも、学習結果を人間が解釈し易いことが特徴で、データの特徴を掴む場合によく用いられるようです。（「花びらの長さがθ以下ならチューリップ」などが分かれば、それだ... 続きを読む

Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。

2015/01/25 46 users 分析 おはなし observation GBDT 重み

Gradient Boosting Decision Tree(GBDT)を勉強したので、その概要とRでのパッケージの簡単な使い方を乗っけておきます。 1. そもそもGBDTってなんだよっていう話。 単純に言えば、複数の決定木を作成して、集団で学習させる方法の事です。 １本決定木を作り、上手くモデルで説明が出来なかったobservationに対して重みを付け、重みのついた状態で次の木を作り、また重... 続きを読む

サザエさんのジャンケンの次の手を決定木で予測+可視化してみた - 唯物是真 @Scaled_Wurm

2014/11/23 51 users Scaled_Wurm scikit-learn 唯物是真

2014-11-23 サザエさんのジャンケンの次の手を決定木で予測+可視化してみた python 機械学習 前に決定木の可視化をしようと思ってやってなかったのでやっておきます決定木のライブラリは例のごとくscikit-learnを使う pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm pythonの機械学習ライブラリscikit-learnの紹... 続きを読む

基礎から深層学習まで。おそらく初心者向けな「フリーソフトではじめる機械学習入門」を読んだ - EchizenBlog-Zwei

2014/04/02 124 users データマイニング EchizenBlog-Zwei 本書

書籍おそらく初心者向けな「フリーソフトではじめる機械学習入門」を読んだ。おそらく、というのは多少説明が足りない箇所がある本なので、そのへんが受け入れられない人もいるかなあ、と思ったので。以下、読んだ感想を書いておくので購入を検討している人は参考にどうぞ。 本書の扱う範囲"データマイニングの基礎"と"はじめてのパターン認識"の内容を合わせたような感じ。決定木やルール学習などの古典的な手法からはじまっ... 続きを読む

PythonでPostgresデータから決定木を構築する - HackerNews翻訳してみた

2014/03/17 45 users Original article 所得 手法 人物

2014-03-17 PythonでPostgresデータから決定木を構築する Original article: Building a Decision Tree in Python from Postgres data by Gary Sieling 今回は、任意の人物の所得を人口統計データを使って予測する手法をご紹介します。使用するのは20年前の人口統計データです。 この例を用いて、関係デー... 続きを読む

Clojure/Incanter/clj-mlでデータマイニング入門 - あんちべ！

2014/02/15 85 users データマイニング アンチ Clojure JVM上 集計

2014-02-16 Clojure/Incanter/clj-mlでデータマイニング入門 概要 Clojureでデータマイニングに必要な各手法を解説する記事です。 本記事を読むと、全くClojureを知らない方でも データ抽出・集計 可視化 機械学習（決定木、ランダムフォレスト、k-meansクラスタリング) をClojureで実行できるようになります。 はじめに ClojureとはJVM上で動... 続きを読む

Webシステムにおける自動分類器を利用した機械学習と顧客購買行動の予測

2012/09/08 50 users 予測 機械学習 Webシステム 決定 システム

Webシステムにおける自動分類器を利用した機械学習と顧客購買行動の予測 — Presentation Transcript Web システムにおける自動分類器を利用P R E S E N T A T I O N した機械学習と顧客購買行動の予測 Agenda・自己紹介後回しにします・概説 Outline機械学習とは、自動分類器とは、決定木とは・解法 Algorhythm訓練データからどのように決定... 続きを読む

livedoor Techブログ : decision tree (決定木) でユーザエージェント判定器を作ってみる

2011/05/10 74 users livedoor Techブログ

アクセスログのユーザエージェント(UA)からブラウザを判別するのって，みんな何使ってますか？ 自分が作ったアクセス解析システムでは HTTP::BrowserDetect と HTTP::MobileAgent にそれぞれ独自パッチをあてたものを使っています。これらはルールベースの判定器なので，新しいブラウザや新種の bot が登場するたびに手作業でルールを追加し，パッチを作って配布するという作業... 続きを読む