日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました | Amazon Web Services ブログ

2020/10/08 27 users AWS アルゴリズム Open Data 語彙データ 構築

Amazon Web Services ブログ 日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の... 続きを読む

fastTextで自然言語(日本語)の学習モデルを生成する手順まとめ

2019/04/11 21 users fastText Facebook 足し算引き算 言語 手順

Facebookが開発したfastTextを利用して自然言語(Wikipediaの日本語全記事)の機械学習モデルを生成するまでの手順を解説。また生成した学習モデルを使って類語抽出や単語ベクトルの足し算引き算等の演算テストを行う方法までコード付きで紹介します。 Pythonこの記事は約 分で読めます。（文字） fastTextで日本語を機械... 続きを読む

Embeddingを高速に取り出すMagnitude - Technical Hedgehog

2019/02/28 35 users Embedding word2vec メモリ 分散表現 シーン

word2vecなど分散表現が活躍するシーンは多いですが、実行速度やメモリなど利用する上で気がかりになる面もあります。この記事では分散表現をすばやく便利に使うためのパッケージであるMagnitudeの説明と実行速度について実験した結果を紹介します。 What's Magnitude? Magnitude は簡単にすばやく単語ベクトルを扱うた... 続きを読む

[O] Word2Vec の Web API を作れる word-vector-web-api を公開しました

2015/07/03 31 users glove NLP word2vec Tweet 構築済み

Word2Vec の Web API を作れる word-vector-web-api を公開しました Tweet [日記][NLP] Word2Vec や GloVe などで構築済みな単語ベクトルのモデルを使った Web API を作ることができる word-vector-web-api を公開しました。 続きを読む