Wikipedia2vec使ってみた

2018/08/31 10 users エンティティ コンペ Wikipedia 筆者 単語

はじめに 本記事は、単語やエンティティのベクトル表現をWikipediaから学習できるツール「Wikipedia2Vec」の紹介と使用してみた感想を伝える記事。 ※ 筆者はWikipedia2Vecの開発等に関わっておらず、Studio Ousiaの関係者でもないです。 Wikipedia2vecについて 著名な学会やコンペにて多くの成果を残しており1自然言語処... 続きを読む

【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita

2017/01/23 90 users 分布図 メソッド 単語 次元 Qiita

単語と遊ぶ① 分布図を書いてみる 分布図を書くメソッドを以下のように定義しました。 通常、単語のベクトル表現は100次元とか300次元とかでモデルに学習させます。 それを次元圧縮して2次元に落とし込んだ後に可視化を行っています。 from sklearn.decomposition import PCA import matplotlib.pyplot as plt def draw_word_s... 続きを読む

言語処理のための機械学習入門

2014/07/28 32 users 機械学習入門 言語処理 クラスタリング 単語 文書

言語処理のための機械学習入門 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語のベクトル表現 2.6 文書や単語の確率分布による表現 河野和平 ストップワード • 話題の種類と関連性を持たない単語 – the,is,haveなどはどんな文書にでも出現する。 • 文書のクラスタリングなどの場合 – ストップワードに関する情報は重要でない。 – ストップワードを削除してベクトル化を行... 続きを読む

ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ

2014/03/11 176 users Wor ニューラルネット Twitter 理論 印象

2014-03-11 ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた 最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 wor... 続きを読む

Taku Kudo - Google+ - https://code.google.com/p/word2vec/  で少し遊んでみた。いわゆる deep…

2013/08/29 48 users code.google.com deep ベクトル 単語 関係

https://code.google.com/p/word2vec/  で少し遊んでみた。いわゆる deep learning で 単語のベクトル表現を学習してくれる。 面白いのは、2つのベクトルの差が、2つの単語の関係をよく近似してくれること。 It was recently shown that the word vectors capture many linguistic regular... 続きを読む