深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

2021/07/21 8 users Bert gpt-3 深層学習

We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime. 続きを読む

古い論文を人工知能に分析させることで人間が見逃していた結果を発見 | スラド サイエンス

2019/07/13 33 users スラド slashdot Vice サイエンス 人工知能

Anonymous Coward曰く、 何百万もの古い科学論文を機械学習アルゴリズムを使用して分析したところ、人間が見逃していた新しい科学的発見ができたという（VICE、Slashdot）。 ローレンス・バークレー国立研究所の研究者らは、人間が見逃した論文同士のつながりを見つけるため、Word2Vecと呼ばれるアルゴリズムを利用した... 続きを読む

word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - Np-Urのデータ分析教室

2019/06/23 400 users Np-Ur 過去 考え方 自分 時間

久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説して... 続きを読む

「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは (1/2)：Pythonで始める機械学習入門（9） - ＠IT

2019/05/22 32 users LdA NLTK Python ライブラリ 流行

Pythonで始める機械学習入門（9）：「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは (1/2) 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載... 続きを読む

逐次的単語分散表現学習ツールyskipの技術 - Yahoo! JAPAN Tech Blog

2019/04/18 56 users Yahoo JAPAN Tech Blog 技術 学習ツール

Yahoo! JAPAN研究所の鍜治です。本記事では、4月18日に公開されたオープンソースの単語分散表現学習ツールyskipに実装されているアルゴリズムincremental SGNSについて解説したいと思います。 単語分散表現の学習ツールとしてはword2vecなどが有名ですが、incremental SGNSは、そのword2vecに実装されている単語分散表現... 続きを読む

テキスト処理総まとめ〜Bag-of-Words, MeCab, CaboCha, TF-IDF, Word2Vec, Doc2Vec〜 - Qiita

2019/04/08 47 users Mecab CaBoCha Qiita TF-IDF 目次

テキスト処理総まとめ〜Bag-of-Words, MeCab, CaboCha, TF-IDF, Word2Vec, Doc2Vec〜 目次 Bag-of-X Bag-of-Words Bag-of-n-Grams 日本語の言語処理（MeCab, CaboCha） TF-IDF Word2Vec Doc2Vec 自然言語処理に関連した主な用語集 自然言語処理の分野では特有の専門用語がよく出てくるので、まずそれを抑えます。 ストッ... 続きを読む

Embeddingを高速に取り出すMagnitude - Technical Hedgehog

2019/02/28 35 users Embedding Technical Hedgehog

word2vecなど分散表現が活躍するシーンは多いですが、実行速度やメモリなど利用する上で気がかりになる面もあります。この記事では分散表現をすばやく便利に使うためのパッケージであるMagnitudeの説明と実行速度について実験した結果を紹介します。 What's Magnitude? Magnitude は簡単にすばやく単語ベクトルを扱うた... 続きを読む

O'Reilly Japan - ゼロから作るDeep Learning ❷

2018/07/05 82 users O'Reilly Japan Deep learning

コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編。第2弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vecやRNN（リカレントニューラルネットワーク）、LSTMやGRU、seq2seqやAttention……ディープラー... 続きを読む

「赤の他人」の対義語は「白い恋人」 これを自動生成したい物語 - Qiita

2018/05/06 154 users コアラ 対義語 Qiita ゴリラ マーチ

背景 「造語対義語」がちょっと面白いと思ったので、Word2Vecを応用して機械に作らせてみよう！という試み。 やりたいことは、以下のような ギャグ対義語を自動生成 すること。 「赤の他人」⇔「白い恋人」 「ウサギは寂しいと死ぬ」⇔「ゴリラは孤独を背負い生き抜く」 「生きろそなたは美しい」⇔ 「死ねブス」 「冷やし中華始めました」⇔ 「おでんはもう辞めました」 「コアラのマーチ」 ⇔ 「ゴリラのレ... 続きを読む

【poke2vec】word2vecをポケモンのパーティに適用してみた | ぽよのーと

2018/04/08 29 users 足し算 引き算 ベクトル ポケモン パーティ

最近の自然言語処理の技術にword2vecと呼ばれるものがあります。word2vecは文字通り単語をベクトルに変換する技術のことで、これを用いることで単語同士の足し算や引き算を計算できます。 これを使うと例えば、「王」+「女」-「男」から「女王」を導くことができます。 今回この単語同士の足し算や引き算をする代わりにポケモン同士の足し算や引き算ができないかと実験してみました。 学習に使用したコードは... 続きを読む

IIIF, Mirador, TEI, Word2vecを活用した仏教学研究教育サイト「SAT2018」 - digitalnagasakiのブログ

2018/04/07 17 users IIIF TEI digitalnagasaki Sat 表題

2018 - 04 - 08 IIIF, Mirador, TEI, Word2vecを活用した仏教学研究教育サイト「SAT2018」 1．はじめに 2ヶ月ぶりのブログ更新です。この間、何をしていたのかというと、ひたすら時間をみつけて表題のサイト、 SAT2018 （SAT 大蔵経 テキストデータベース2018年版）を作っておりました。 デジタルアーカイブ の研究・教育利用のソリューションの一例 ... 続きを読む

高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ - Yahoo! JAPAN Tech Blog

2018/02/19 83 users NGT Yahoo 近傍 Python ソフトウェア

はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介された NGT（Neighborhood Graph and Tree） という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実... 続きを読む

「OK word2vec ! "マジ卍"の意味を教えて」 Twitterデータからword2vec実践してみた - これで無理なら諦めて！世界一やさしいデータ分析教室

2018/02/06 62 users Python twitterデータ マジ卍 無理 実践編

2018 - 02 - 06 「OK word2vec ! "マジ卍"の意味を教えて」 Twitterデータからword2vec実践してみた Pythonで実践編 テキストマイニング word2vec Tweet さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy... 続きを読む

word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室

2018/01/16 400 users 無理 世界一やさしいデータ分析教室 考え方 記事更新 時間

2018 - 01 - 16 word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり 理論 word2vec テキストマイニング Tweet 久しぶりの記事更新です。 今回はかねてより書いてみたかった word2vec について。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そ... 続きを読む

サブカルのためのword2vec - Technology of DeNA

2018/01/12 221 users サブカル Technology of DeNA

はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft , ポートフォリオ： http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取... 続きを読む

男と女が寄りそうとどうなるのか - Qiita

2017/12/19 132 users アダム イブ Qiita 神様 奥さん

この記事は Go Advent Calendar 2017 の記事です。 アダムとイブ 男と女が寄りそうとどうなるのか。これは神様がアダムとイブという異なる性を地に授けた時から既に決まっている事なのもしれません。 このお題を解き明かしたい。Go 言語を使って。 ネタとしては以下の記事を参考にしました。 どうしたら「彼女」から「奥さん」になれるかを『Word2Vec』に聞いてみた | 人工知能ニュー... 続きを読む

どうしたら「彼女」から「奥さん」になれるかを『Word2Vec』に聞いてみた | 人工知能ニュースメディア AINOW

2017/10/31 139 users AINOW 薬指 左手 婚約指輪 奥さん

工学部女子大生のranranです。 私は彼氏のことが大好きで、いつも彼氏のことばかり考えています。もちろん、将来的には彼氏の「奥さん」へと昇格したいと考えています。しかし、このまま時間の流れに身を任せていてれば、自然と「彼女」から「奥さん」になれるのでしょうか？ 非常に不安です。 既婚者に聞いてみた 不安で居ても立っても居られなくなったので、AINOW編集長であり… 左手の薬指に婚約指輪をキラリと... 続きを読む

機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた - paiza開発日誌

2017/03/16 89 users Doc2Vec ディープラーニング paiza開発日誌 秋山

2017 - 03 - 16 機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた 機械学習 秋山です。 機械学習 が人気ですが、「Word2Vec」「Doc2Vec」という、文章などを分析する ニューラルネットワーク モデルを知っていますか？ すごーく簡単に言うと、「Word2Vec」は単語の類似度のベクトル、「Doc2Vec」は文章の類似度のベクトルを表現します。... 続きを読む

文章をベクトル化して類似文章の検索 - Qiita

2017/02/27 267 users Doc2Vec Qiita 単語 実装 コンピュータ

Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとは コンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。 単語の意味をベクトル化する手法として Word2Vec が存在します。 詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。 こうすることで、例えば「犬」と「猫」... 続きを読む

【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita

2017/01/23 90 users 単語 メソッド 分布図 ベクトル表現 次元

単語と遊ぶ① 分布図を書いてみる 分布図を書くメソッドを以下のように定義しました。 通常、単語のベクトル表現は100次元とか300次元とかでモデルに学習させます。 それを次元圧縮して2次元に落とし込んだ後に可視化を行っています。 from sklearn.decomposition import PCA import matplotlib.pyplot as plt def draw_word_s... 続きを読む

DeepLearning4J + Scalaで機械学習 | anopara

2017/01/03 20 users anopara Scala RBM GRu RNN

DL4Jをバリバリ使ってる人は日本にあまり居ない？ような気がしてきたので、1か月弱くらい色々使ってみた感触などを述べてみる。 DeepLearning4Jってなんだ 公式サイト とか GitHub 見てくれ。以下DL4Jと記載。 何が出来るんだ 最近の機械学習系の大体の事は出来るような気がする。RNN（LSTM. GRUは実装中）、Word2Vec、FeedFoward、CNN、RBM（Deep ... 続きを読む

Word2Vecを用いた類義語の抽出が上手く行ったので、分析をまとめてみた - Qiita

2016/12/22 121 users Qiita Speee 類義語 コーディング ロジック

はじめに こんにちは、Speeeでデータサイエンティストをしている @To_Murakami と申します。エンジニアではないのですが、コーディングを含めた分析例を発信しようと思い、企業のAdvent Calendarに参加させていただきました。 12月も暮れに差し掛かってきましたね。本日は、Word2Vec(ワードトゥベック)という自然言語処理を活用した分析例を紹介します。 このロジックを実装した... 続きを読む

【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita

2016/12/19 109 users データアナリスト 評点 現状 Qiita 日本最大級

はじめに LivesenseAdventCalendar 2016 の20日目を担当する @n_uchida です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議 は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかった... 続きを読む

[O] Word2Vec の Web API を作れる word-vector-web-api を公開しました

2015/07/03 31 users glove NLP Tweet 単語ベクトル Web API

Word2Vec の Web API を作れる word-vector-web-api を公開しました Tweet [日記][NLP] Word2Vec や GloVe などで構築済みな単語ベクトルのモデルを使った Web API を作ることができる word-vector-web-api を公開しました。 続きを読む

義理といえば？クックパッドのレシピをword2vecで料理してみた - クックパッド開発者ブログ

2015/02/27 86 users クックパッド 義理 chezou 有賀 レシピ

2015-02-27 義理といえば？クックパッドのレシピをword2vecで料理してみた 会員事業部の有賀 (@chezou) です。 クックパッドは、先日学術機関向けにレシピと献立のデータを公開しました。 研究者の方々にクックパッドのレシピ・献立を使っていただくことで、料理に関する研究の発展に貢献できればと思いデータ公開に至りました。 今回は、その中でもクックパッドのレシピデータを使った分析事例... 続きを読む