SWEM: 単語埋め込みのみを使うシンプルな文章埋め込み - Out-of-the-box

2019/05/29 14 users Out-of-the-box 単語 分散表現 手法 文章

単語埋め込み (Word Embedding) のみを利用して文章埋め込み (Sentence Embedding) を計算するSWEM (Simple Word-Embedding-based Methods) を実装しました。 概要 文章に対する固定次元の分散表現を得る手法としては、doc2vecやSkip-thoughts、テキスト間の含意関係を学習することで分散表現を得るinfersent、最近では... 続きを読む

Doc2Vecによる文書ベクトル推論の安定化について - Sansan Builders Box

2019/04/10 72 users Sansan Builders Box 安定化

はじめまして，Sansan DSOC R&Dグループ インターンの小林といいます。 2月下旬から3月末までの間，主に自然言語処理 (NLP) に関連した研究開発に挑戦させて頂きました。大学でNLPを専攻している訳では無いですが，他の研究員の方やインターンの先輩とのディスカッションなど，とにかく刺激的な日々でした。 本稿はNLPブ... 続きを読む

Slackデータを可視化して会社の2018年を振り返る - Kaizen Platform 開発者ブログ

2018/12/26 92 users Kaizen Platform T-SNE 可視化 API

TL;DR SlackのAPIから2018年の発言データを取得、可視化をしました 一番発言されたChannelや使われたリアクション 、Channel数の増加などを調べました Doc2Vec、t-SNEを使って類似Channelの探索をしました 使ったコードは記事の最後にあります はじめに アプリケーションエンジニアの池田@つくば (@ikedaosushi Follow ... 続きを読む

機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた - paiza開発日誌

2017/03/16 89 users ディープラーニング word2vec paiza開発日誌

2017 - 03 - 16 機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた 機械学習 秋山です。 機械学習 が人気ですが、「Word2Vec」「Doc2Vec」という、文章などを分析する ニューラルネットワーク モデルを知っていますか？ すごーく簡単に言うと、「Word2Vec」は単語の類似度のベクトル、「Doc2Vec」は文章の類似度のベクトルを表現します。... 続きを読む

文章をベクトル化して類似文章の検索 - Qiita

2017/02/27 267 users word2vec Qiita 単語 実装 コンピュータ

Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとは コンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。 単語の意味をベクトル化する手法として Word2Vec が存在します。 詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。 こうすることで、例えば「犬」と「猫」... 続きを読む