エムスリーの機械学習エンジニアが語る、医療用語に注目した文書の類似度計算のしくみ - ログミーTech

2019/04/24 203 users エムスリー しくみ ログミーTech 文書 freee株式会社

エムスリーの機械学習エンジニアが語る、医療用語に注目した文書の類似度計算のしくみ 医療用語に注目した文書の類似度計算 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向... 続きを読む

医療用語に注目した文書の類似度計算(SCDV+XGBoost) - エムスリーテックブログ

2018/12/24 45 users エムスリーテックブログ 文書 エムスリー 医療用語 ニーズ

はじめに エンジニアリングGの西場(@m_nishiba)です。 エムスリー Advent Calendar 2018に参加しています。 文書間の類似度計算をしたい。 エムスリーでは20以上のサービスを展開しています。各サービスごとにコンテンツのフォーマットが大きく異なるのですが、横断して類似するコンテンツを表示したいというニーズがあ... 続きを読む

類似画像検索のための、Pythonを使った近似最近傍探索【入門】

2018/08/06 11 users Python 近似最近傍探索 類似画像検索 CNN ライブラリ

今回はAnnoyというライブラリを使って、Pythonで簡単に近似最近傍探索を行う方法について説明します。 近似最近傍探索は類似画像検索などに用いられる技術です。 類似画像検索は「特徴量抽出」と「特徴量の類似度計算」を組み合わせることで実現されます。CNNなどを使って得られた得られた特徴量を元に、特徴量の類似度... 続きを読む

類似度計算と転置Indexとb-Bit Minwise Hashing - Yuta.Kikuchiの日記

2014/08/12 27 users Yuta.Kikuchi 日記

調査 | 00:30 | Recommend Engineでの類似度計算RecommendEngineを作る時の話。アイテム間の相関を計算する為にユーザーの購買データからJaccard係数やCos類似度を求める手法が一般的です(アイテム×ユーザーTableと、アイテム×アイテム相関Tableが必要)。しかしアイテムの個数(N)×ユーザー数(M)の行列を作り、Nの中から2つのアイテムを取り出してそれ... 続きを読む