実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2019/09/10 280 users 訓練 広域 データサイエンティスト ハイパーパラメータ スキル

データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事... 続きを読む

特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット

2019/07/15 212 users バイアス 天然ニューラルネット EDA Kaggle 洞察

なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアス... 続きを読む

[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 | かものはしの分析ブログ

2019/06/23 387 users パシ Python テキストマイニング 機械学習 GitHub

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキスト... 続きを読む

小説家になろうを機械学習でデータ分析してブックマーク10以上を獲得しやすい条件を探す - Qiita

2019/06/14 199 users Qiita Python 最小二乗法 単語 箇所

はじめに これを書いてる人の機械学習・データ分析のスキルはpythonの拡張子が.pyであることを知ってから10日目ぐらい、「決定木」「最小二乗法」「特徴量」「RMSE」といった単語を初めて見てから7日目ぐらいといったレベルです。なのでより良い方法がある場合や、分析の途中間違っている箇所などがあればコメント欄等で... 続きを読む

Python: RFE (Recursive Feature Elimination) で特徴量を選択してみる - CUBE SUGAR CONTAINER

2019/04/20 50 users アルゴリズム Python ノイズ ロバスト 手法

今回は RFE (Recursive Feature Elimination) と呼ばれる手法を使って特徴量選択 (Feature Selection) してみる。 教師データの中には、モデルの性能に寄与しない特徴量が含まれている場合がある。 アルゴリズムがノイズに対して理想的にロバストであれば、有効な特徴量だけを読み取って学習するため特徴量選択は不要か... 続きを読む

不動産価格分析とモデルの作成とクローム拡張 - にほんごのれんしゅう

2019/03/26 66 users れんしゅう 線形モデル Chrome Extention

序 機械学習で不動産を予想する意味 特徴量から重要度を知ることができる EndUserにとって嬉しいことは？ 線形モデルならばChrome ExtentionなどJavaScriptなどにモデルを埋め込むこともでき、意思決定の補助材料などとして、不動産の情報の正当性を推し量る事ができる 管理会社にとって嬉しいことは？ 特徴量の重要度が... 続きを読む

ランダムフォレストと検定を用いた特徴量選択手法 Boruta - 機械学習を学習する天然ニューラルネットワーク

2019/01/05 219 users アルゴリズム 判別 検定 ランダムフォレスト 訓練

特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、... 続きを読む

KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」のPython実装 - u++の備忘録

2018/06/23 143 users Kaggle github.com 備忘録 自前 アルゴリズム

今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。... 続きを読む

深層学習を使って楽曲のアーティスト分類をやってみた！ - Platinum Data Blog by BrainPad

2018/04/17 116 users 深層学習 楽曲 アーティスト 音声データ テーマ

2018 - 04 - 17 深層学習を使って楽曲のアーティスト分類をやってみた！ 深層学習を使った音声データによる楽曲分類を実施しました！楽曲の特徴を表すメル周波数スペクトログラムを用いて、その楽曲のアーティストを推定します。 こんにちは、アナリティクスサービス本部の井出です。 今回のブログは、音声データをテーマとして取り上げ、 音声データの特徴量 深層学習による楽曲のアーティスト分類 について... 続きを読む

今季見るべきアニメを機械学習で推薦する - はこべブログ ♨

2016/04/15 610 users はこべブログ 機械学習 アニメ Coursera 未知

Coursera で機械学習に入門成功できた ので応用に挑戦してみました。ちょうど季節の変わり目ということで、 過去に見て気にいったアニメの特徴を学習して、未知のアニメを、気にいりそうなアニメと気にいらなそうなアニメに分類するツール を作って、ソフトウェアに今季見るべきアニメを推薦してもらいたいと思います。 アニメの特徴量 あるアニメを気にいるかどうかは、話のおもしろさや、絵柄の感じ、キャラクター... 続きを読む