新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた « LINE Engineers' Blog

2016/12/21 2666 users overlast 新語 Data Labs 固有表現 言語処理

新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた LINE の Data Labs(データラボ)で自然言語処理に関連する技術に関わっている @overlast (佐藤 敏紀) です。この記事は、LINE Advent Calendar 2016 の 15 記事目です。 この記事をお読みの方には「LINE と自然言語処理って関係あるの？」と思われる方もいらっしゃる思... 続きを読む

[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました

2015/03/13 376 users Mecab NLP Tweet 文書 両方

MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 ところが、IPADICは先月に急に流行ったような言葉は収録していないので、今日生まれたような新しい文書(例、Apple Watch発売)を解析す... 続きを読む