flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録

2020/07/10 18 users コーディング タスク moriyama 深層学習 ベクトル化

自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習... 続きを読む

日本語の単語分割 - 自然言語処理 on Mac

2011/06/11 33 users 言語処理 on Mac 日本語

nlp日本語の単語分割処理は、一般に、単語辞書と単語間連接の規則や学習データに基づいて行われます。オープンソースとして有名なものがいくつもあります。 KAKASI - 漢字→かな(ローマ字)変換プログラム 日本語形態素解析システムJUMAN - KUROHASHI-KAWAHARA LAB chasen legacy -- an old morphological analyzer MeCab: ... 続きを読む

LIBLINEARを用いた機械学習入門(単語分割)

2011/05/30 59 users Kytea Ruby 実装 プログラミング言語 手順

このページでは機械学習のツール(LIBLINEAR)を利用して、実際に分類問題を解くにはどういう手順を経るかということについて解説します。つまり、Kytea(京都テキスト解析ツールキット)における簡易版の単語分割モデルを作ってみようということです。 なお今回はプログラミング言語としてRubyを用いますが、Rubyの知識がなくても実装ができるように解説するよう心がけます。また、必要以上に細かく書いて... 続きを読む