Pythonで単語分散表現のクラスタリング - 自然言語処理の深遠

2017/11/01 74 users クラスタリング Python 演算 ベクトル 言語処理

2017 - 11 - 01 Pythonで単語分散表現のクラスタリング Python Wikipedia gensim 機械学習 自然言語処理 最近の 自然言語処理 では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、 加減乗除 等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることが... 続きを読む

Googleを使って選挙の当選者を予測する方法！？ | p o p * p o p

2006/11/29 79 users 選挙 Google p o p 時系列 当選者

Googleを使って選挙の当選者を予測する方法！？ November 29, 2006 10:27 AM written by 100SHIKI Apprentice Google TrendsというGoogleのサービスは、各単語が検索された回数を時系列で出してくれます。 これを使って「選挙で当選する候補者を予測できるんじゃね？」と考えた人がいます。 人は自分の興味のある人をもっとも検索するはず... 続きを読む

きまぐれ日記: キーワード抽出: tf-idf の意味づけ

2005/11/06 136 users TF-IDF yto きまぐれ日記 キーワード抽出 文書

単語の重み付けの古典的な方法に tf-idf があります。文書中の各単語の tf-idf 値計算し、値でソートすると、その文書に特徴的な単語リストを得ることができます。 http://nais.to/~yto/clog/2005-10-12-1.html tf-idf は、単なるヒューリスティックスだと考えられていましたが、最近言語モデルに基づく情報検索手法がさかんに研究されるようになり、tf*i... 続きを読む