単語を箱で表現！新たな埋め込み手法 Box Embedding を基礎から理解

2022/10/13 7 users 単語 手法 基礎 表現 理解

近年、単語をベクトルとして表現するベクトル表現が広く一般に用いられるようになりました。一方で、ベクトルでは表現できないデータも多く存在しており、その代表例が意味や概念の階層関係です。多義語に代表されるように、自然言語における単語は複数の意味を持ち、単語ごとに異なる意味の広がりを持つと考えるのが自... 続きを読む

Wikipedia2vec使ってみた

2018/08/31 10 users エンティティ コンペ Wikipedia 筆者 単語

はじめに 本記事は、単語やエンティティのベクトル表現をWikipediaから学習できるツール「Wikipedia2Vec」の紹介と使用してみた感想を伝える記事。 ※ 筆者はWikipedia2Vecの開発等に関わっておらず、Studio Ousiaの関係者でもないです。 Wikipedia2vecについて 著名な学会やコンペにて多くの成果を残しており1自然言語処... 続きを読む

【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita

2017/01/23 90 users 単語 メソッド 分布図 次元 Qiita

単語と遊ぶ① 分布図を書いてみる 分布図を書くメソッドを以下のように定義しました。 通常、単語のベクトル表現は100次元とか300次元とかでモデルに学習させます。 それを次元圧縮して2次元に落とし込んだ後に可視化を行っています。 from sklearn.decomposition import PCA import matplotlib.pyplot as plt def draw_word_s... 続きを読む

言語処理のための機械学習入門

2014/07/28 32 users 機械学習入門 言語処理 クラスタリング 単語 文書

言語処理のための機械学習入門 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語のベクトル表現 2.6 文書や単語の確率分布による表現 河野和平 ストップワード • 話題の種類と関連性を持たない単語 – the,is,haveなどはどんな文書にでも出現する。 • 文書のクラスタリングなどの場合 – ストップワードに関する情報は重要でない。 – ストップワードを削除してベクトル化を行... 続きを読む

ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ

2014/03/11 176 users Wor ニューラルネット Twitter 理論 印象

2014-03-11 ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた 最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 wor... 続きを読む

Taku Kudo - Google+ - https://code.google.com/p/word2vec/  で少し遊んでみた。いわゆる deep…

2013/08/29 48 users code.google.com deep ベクトル 単語 関係

https://code.google.com/p/word2vec/  で少し遊んでみた。いわゆる deep learning で 単語のベクトル表現を学習してくれる。 面白いのは、2つのベクトルの差が、2つの単語の関係をよく近似してくれること。 It was recently shown that the word vectors capture many linguistic regular... 続きを読む