Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

2020/09/26 136 users

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータ... 続きを読む

流行りの分散表現を用いた文書分類について Netadashi Meetup 7

2018/10/20 74 users

流行りの分散表現を用いた文書分類について Netadashi Meetup 7 1. 流行りの分散表現を用いた文書分類について 2018/10/19 Netadashi Meetup #7 in みなとみらい Mr_Sakaue(SKUE) 1 2. ● 阪上晃幸（@Mr_Sakaue） ● データアナリスト@渋谷のベンチャー企業 ● 経歴 2012/2：インターン@渋谷のベンチャー企業 2012/3：一橋... 続きを読む

Pythonで単語分散表現のクラスタリング - 自然言語処理の深遠

2017/11/01 74 users

2017 - 11 - 01 Pythonで単語分散表現のクラスタリング Python Wikipedia gensim 機械学習 自然言語処理 最近の 自然言語処理 では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、 加減乗除 等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることが... 続きを読む

単語の分散表現と構成性の計算モデルの発展

2015/05/31 110 users

Transcript 1. 単語の分散表現と構成性の 計算モデルの発展 東北大学大学院情報科学研究科 岡崎 直観（okazaki@ecei.tohoku.ac.jp） http://www.chokkan.org/ @chokkanorg 2015-05-31 OS-1 (2)意味と理解のコンピューティング 1 2. 分散表現 (Hinton+ 1986) • 局所表現（local represe... 続きを読む