Undersampling + baggingで不均衡データに対処した際の予測確率のバイアスを補正して、その結果を可視化してみる - 六本木で働くデータサイエンティストのブログ

2019/08/04 21 users Twitter バイアス 岸本 六本木 データサイエンティスト

この記事は以下の検証記事の続きです。 先日、Twitterでこんなお話を見かけました。 分類問題で不均衡データを扱う際、ダウンサンプリングして学習すると予測確率にバイアスが生じるので、calibrationしようという話を書きましたhttps://t.co/qujK29crNY— 岸本ばなな (@unpuy_tw) 2019年7月22日 その記事がこちらです。 ... 続きを読む

Python: 機械学習における不均衡データの問題点と対処法について - CUBE SUGAR CONTAINER

2018/12/16 183 users Python 検知 ラベル 機械学習 分野

機械学習における分類問題では、扱うデータセットに含まれるラベルに偏りのあるケースがある。 これは、例えば異常検知の分野では特に顕著で、異常なデータというのは正常なデータに比べると極端に数が少ない。 正常なデータが 99.99% なのに対し異常なデータは 0.01% なんてこともある。 このようなデータセットは不均... 続きを読む

不均衡データをdownsampling + baggingで補正すると汎化性能も確保できて良さそう - 六本木で働くデータサイエンティストのブログ

2017/08/11 48 users 六本木 データサイエンティスト 汎化性能 https 対処

2017 - 08 - 11 不均衡データをdownsampling + baggingで補正すると汎化性能も確保できて良さそう R 機械学習 弊社のランチゲストにお招きしたことのある@ tmaehara さんが、こんなことをツイートしておられました。 imbalanced data に対する対処を勉強していたのだけど，[Wallace et al. ICDM'11] https://t.co/l... 続きを読む

不均衡データをSVMでクラス分類するにはどうすれば良いか - 銀座で働くData Scientistのブログ

2014/10/09 36 users SVM SlideShare KDD Cup 備忘録的 比率

2014-10-09 不均衡データをSVMでクラス分類するにはどうすれば良いか R Python 機械学習 今年のKDD cupが絵に描いたような不均衡データ（正例と負例との数的比率が極端に偏っているデータ）で苦労させられたので、ちょっと調べたら色々と良い方法があるなぁと気が付いたので備忘録的に紹介しておきます。 ちなみにググったら普通に@sfchaosさんのslideshareが出てきたので、僕... 続きを読む