文字列アルゴリズムの学びかた - Hatena Developer Blog

2016/12/22 844 users Hatena Developer Blog パーザ 本稿

2016 - 12 - 22 文字列アルゴリズムの学びかた こんにちは！はてなアプリケーションエンジニアの id:takuya-a です。 みなさんは、このような疑問をもったことはありませんか？ grep はどのように文字列を検索しているのか？ MeCab はどうやって辞書を高速にルックアップしているのか？ パーサやコンパイラを作りたいけど、何から始めればいいのか？ 本稿では、「文字列アルゴリズム... 続きを読む

日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ

2016/05/11 1083 users 辞書 メジャー a_bicky 単語単位 形態素解析

こんにちは、買物情報事業部の荒引 ( @a_bicky ) です。 前回、 「検索結果の疑問を解消するための検索の基礎」 で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単... 続きを読む