大規模言語モデルは、絵文字の分散表現をどう見るか - YANS2023ブース展示｜セコン / @hotchpotch

2023/09/08 14 users 舘野 セコン くふうカンパニー インタラクティブ ブース

くふうカンパニーの舘野(@hotchpotch)です。先日行われたYANS2023にスポンサー企業として参加し、ブースで「大規模言語モデルは絵文字の分散表現をどう見るか」という展示を行いました。 Webブラウザー上で、絵文字の分散表現(特徴量)を使ってインタラクティブにぐりぐり動かしながら、色々な視点から絵文字を見ることが... 続きを読む

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

2020/09/26 136 users 分量 単語 Ahogrammer テキスト 自然言語処理

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータ... 続きを読む

SWEM: 単語埋め込みのみを使うシンプルな文章埋め込み - Out-of-the-box

2019/05/29 14 users Doc2Vec Out-of-the-box 単語 手法 文章

単語埋め込み (Word Embedding) のみを利用して文章埋め込み (Sentence Embedding) を計算するSWEM (Simple Word-Embedding-based Methods) を実装しました。 概要 文章に対する固定次元の分散表現を得る手法としては、doc2vecやSkip-thoughts、テキスト間の含意関係を学習することで分散表現を得るinfersent、最近では... 続きを読む

ヤフー、分散表現の学習時間を短縮化するAI技術「yskip」をOSSとして公開 - CNET Japan

2019/04/22 10 users OSS men ヤフー オープンソースソフトウエア AI技術

ヤフーは4月18日、AI・自然言語処理技術のひとつである分散表現の学習時間を短縮化する技術「yskip」をオープンソースソフトウェア（OSS）として公開したと発表した。 Word Similarityタスクのデータセット3種類（WordSim353、MEN、SimLex999）とAnalogyタスクのデータセット2種類（Googleデータ、MSRデータ）を用いた結... 続きを読む

Embeddingを高速に取り出すMagnitude - Technical Hedgehog

2019/02/28 35 users Embedding word2vec 単語ベクトル メモリ

word2vecなど分散表現が活躍するシーンは多いですが、実行速度やメモリなど利用する上で気がかりになる面もあります。この記事では分散表現をすばやく便利に使うためのパッケージであるMagnitudeの説明と実行速度について実験した結果を紹介します。 What's Magnitude? Magnitude は簡単にすばやく単語ベクトルを扱うた... 続きを読む

流行りの分散表現を用いた文書分類について Netadashi Meetup 7

2018/10/20 74 users 文書分類 一橋 インターン 経歴 データアナリスト

流行りの分散表現を用いた文書分類について Netadashi Meetup 7 1. 流行りの分散表現を用いた文書分類について 2018/10/19 Netadashi Meetup #7 in みなとみらい Mr_Sakaue(SKUE) 1 2. ● 阪上晃幸（@Mr_Sakaue） ● データアナリスト@渋谷のベンチャー企業 ● 経歴 2012/2：インターン@渋谷のベンチャー企業 2012/3：一橋... 続きを読む

Pythonで単語分散表現のクラスタリング - 自然言語処理の深遠

2017/11/01 74 users クラスタリング Python 演算 ベクトル 言語処理

2017 - 11 - 01 Pythonで単語分散表現のクラスタリング Python Wikipedia gensim 機械学習 自然言語処理 最近の 自然言語処理 では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、 加減乗除 等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることが... 続きを読む

トピックモデルで単語の分散表現 - 理論編 - scouty AI LAB

2017/08/07 31 users LAB deeplearning 単語 トピックモデル 島田

2017 - 08 - 07 トピックモデルで単語の分散表現 - 理論編 人工知能 技術者向け 知識表現(Knowledge Representation) 自然言語処理 こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという 自然言語処理 における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のた... 続きを読む

2015 08 survey

2015/08/16 15 users survey DNN サーベイ 深層ニューラルネットワーク

Transcript of "2015 08 survey" 1. Komachi Lab M1 宮崎亮輔 2015/08/16 前期サーベイまとめ 小町研究室 2. Komachi Lab これまで ✤ 先行研究のサーベイ
 （主に分散表現と深層ニューラルネットワーク (DNN)）! - 分散表現の学習! - 分散表現の構成性! - 分散表現を用いた極性解析! - RecursiveNN, Re... 続きを読む

単語の分散表現と構成性の計算モデルの発展

2015/05/31 110 users 単語 発展 計算モデル 構成性 直観

Transcript 1. 単語の分散表現と構成性の 計算モデルの発展 東北大学大学院情報科学研究科 岡崎 直観（okazaki@ecei.tohoku.ac.jp） http://www.chokkan.org/ @chokkanorg 2015-05-31 OS-1 (2)意味と理解のコンピューティング 1 2. 分散表現 (Hinton+ 1986) • 局所表現（local represe... 続きを読む