Java で NEologd の前処理 neologdn-java - Qiita

2017/03/15 8 users Qiita github.com Java 冗長 WIKI

ちゃお・・・† @ragion さんの協力もあって、ついにJavaでのNEologdの前処理モジュール neologd-java をリリースしました！ これはなに？ https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja 辞書データを冗長にして異表記を吸収するのにも限界がある。 辞書データを生成する際には以下で述べる正規化処理を... 続きを読む

新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた « LINE Engineers' Blog

2016/12/21 2666 users overlast 新語 Data Labs 固有表現 言語処理

新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた LINE の Data Labs(データラボ)で自然言語処理に関連する技術に関わっている @overlast (佐藤 敏紀) です。この記事は、LINE Advent Calendar 2016 の 15 記事目です。 この記事をお読みの方には「LINE と自然言語処理って関係あるの？」と思われる方もいらっしゃる思... 続きを読む

[O] UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました

2015/05/29 19 users unicode 新語 NLP Tweet 固有表現

UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました Tweet [NLP] 今年3月中旬 [2015-03-13] に mecab-ipadic-NEologd をリリースして以来、mecab-ipadic-NEologd はとても順調に普及しています。 さて、今回は UniDic に新語や固有表現、Unicode 絵文字などを足す... 続きを読む

[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました

2015/03/13 376 users Mecab NLP Tweet 文書 両方

MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 ところが、IPADICは先月に急に流行ったような言葉は収録していないので、今日生まれたような新しい文書(例、Apple Watch発売)を解析す... 続きを読む