word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - Np-Urのデータ分析教室

2019/06/23 400 users Np-Ur 過去 考え方 自分 時間

久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説して... 続きを読む

「赤の他人」の対義語は「白い恋人」 これを自動生成したい物語 - Qiita

2018/05/06 154 users コアラ 対義語 Qiita ゴリラ マーチ

背景 「造語対義語」がちょっと面白いと思ったので、Word2Vecを応用して機械に作らせてみよう！という試み。 やりたいことは、以下のような ギャグ対義語を自動生成 すること。 「赤の他人」⇔「白い恋人」 「ウサギは寂しいと死ぬ」⇔「ゴリラは孤独を背負い生き抜く」 「生きろそなたは美しい」⇔ 「死ねブス」 「冷やし中華始めました」⇔ 「おでんはもう辞めました」 「コアラのマーチ」 ⇔ 「ゴリラのレ... 続きを読む

word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室

2018/01/16 400 users 無理 世界一やさしいデータ分析教室 考え方 記事更新 時間

2018 - 01 - 16 word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり 理論 word2vec テキストマイニング Tweet 久しぶりの記事更新です。 今回はかねてより書いてみたかった word2vec について。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そ... 続きを読む

サブカルのためのword2vec - Technology of DeNA

2018/01/12 221 users サブカル Technology of DeNA

はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft , ポートフォリオ： http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取... 続きを読む

男と女が寄りそうとどうなるのか - Qiita

2017/12/19 132 users アダム イブ Qiita 神様 奥さん

この記事は Go Advent Calendar 2017 の記事です。 アダムとイブ 男と女が寄りそうとどうなるのか。これは神様がアダムとイブという異なる性を地に授けた時から既に決まっている事なのもしれません。 このお題を解き明かしたい。Go 言語を使って。 ネタとしては以下の記事を参考にしました。 どうしたら「彼女」から「奥さん」になれるかを『Word2Vec』に聞いてみた | 人工知能ニュー... 続きを読む

どうしたら「彼女」から「奥さん」になれるかを『Word2Vec』に聞いてみた | 人工知能ニュースメディア AINOW

2017/10/31 139 users AINOW 薬指 左手 婚約指輪 奥さん

工学部女子大生のranranです。 私は彼氏のことが大好きで、いつも彼氏のことばかり考えています。もちろん、将来的には彼氏の「奥さん」へと昇格したいと考えています。しかし、このまま時間の流れに身を任せていてれば、自然と「彼女」から「奥さん」になれるのでしょうか？ 非常に不安です。 既婚者に聞いてみた 不安で居ても立っても居られなくなったので、AINOW編集長であり… 左手の薬指に婚約指輪をキラリと... 続きを読む

文章をベクトル化して類似文章の検索 - Qiita

2017/02/27 267 users Doc2Vec Qiita 単語 実装 コンピュータ

Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとは コンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。 単語の意味をベクトル化する手法として Word2Vec が存在します。 詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。 こうすることで、例えば「犬」と「猫」... 続きを読む

Word2Vecを用いた類義語の抽出が上手く行ったので、分析をまとめてみた - Qiita

2016/12/22 121 users Qiita Speee 類義語 コーディング ロジック

はじめに こんにちは、Speeeでデータサイエンティストをしている @To_Murakami と申します。エンジニアではないのですが、コーディングを含めた分析例を発信しようと思い、企業のAdvent Calendarに参加させていただきました。 12月も暮れに差し掛かってきましたね。本日は、Word2Vec(ワードトゥベック)という自然言語処理を活用した分析例を紹介します。 このロジックを実装した... 続きを読む

【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita

2016/12/19 109 users データアナリスト 評点 現状 Qiita 日本最大級

はじめに LivesenseAdventCalendar 2016 の20日目を担当する @n_uchida です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議 は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかった... 続きを読む

パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース

2015/01/08 382 users あんちべさん 形態素解析 パソコン工房 あらすじ 全面

（これまでのあらすじ）前回、パソコン工房から「統計処理用のPCのPR企画をやりたい」と依頼を受けて、はてなエンジニアと一緒にword2vecで遊んでみた編集部。読者の皆さまにも好評だったので、調子に乗って第2弾を実施することにしました。今回は「"word2vec"で艦これ加賀さんから乳を引いてみる」で一世を風靡した、あの統計屋さんが全面協力です！ 記事の最後にはプレゼントのお知らせも。 （※この記... 続きを読む

自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData

2014/11/12 336 users アルゴリズム 日経BigData 新風 ベクトル空間 応用

言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現して... 続きを読む

O'Reilly Japan - word2vecによる自然言語処理

2014/05/16 186 users O'Reilly Japan コーパス 言語処理 付録 弱点

Tomas Mikolovらによって提案されたニューラルネットワーク（CBOW, Skip-gram）のオープンソース実装word2vecについて、基本的な使い方を体験し、さらにその仕組みを学ぶ書籍です。 基本的な使い方から、自分の好きなコーパスの作り方、登場の背景、仕組み、さらには応用例や弱点についてもコンパクトなボリュームで概観できます。付録にはword2vecの出力結果を主成分分析を使って可... 続きを読む

Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなブックマークニュース

2014/04/22 530 users perl BTOパソコン マシン Java Python

統計処理用のマシンを使って、自然言語処理で遊ぼう！ BTOパソコンで有名な「パソコン工房」から「統計処理用のPCを企画しているので、何かできないか」と相談された編集部は、はてなエンジニアと相談して「word2vec」を使って遊んでみることに。はてなブログのデータとかっこいいパソコンを使って、最新の自然言語処理で楽しむ様子をお楽しみください！ 記事の終わりには2TBの外付けHDDが当たるプレゼントの... 続きを読む

ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ

2014/03/11 176 users Wor ニューラルネット Twitter 理論 印象

2014-03-11 ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた 最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 wor... 続きを読む

自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！

2014/03/09 804 users テキストマイニング アンチ KING Man 手順

2014-03-10 自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる テキストマイニング プログラミング Python 自然言語処理 概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woma... 続きを読む

Statistical Semantic入門 ~分布仮説からword2vecまで~

2014/02/06 163 users unnonouno

Statistical Semantic入門 ~分布仮説からword2vecまで~ Presentation Transcript 2014/02/06 PFI Statistical Semantic ~ word2vec Preferred Infrastructure (@unnonouno) ~ (@unnonouno) !  !  !  !  !  IBM PFI Semantics [... 続きを読む