AWS、PythonでMeCabを使う際の語彙データを無料公開 | Ledge.ai

2020/11/20 205 users ラッパーライブラリ AWS Ledge.ai Python

アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッ... 続きを読む

MeCab（形態素解析）をPythonから２分で使えるようにする手順

2017/08/01 99 users Pytho Kuromoji Jarファイル Java 敷居

Javaだと、Kuromojiを使用するまでに必要な手続きは、基本的にjarファイルを追加するだけで完了しますので、形態素解析を使うまでの敷居は高くありません。 しかし、PythonでMeCabを使おうとすると、セットアップに時間を取られてしまうことがあります。 ですので、今回は最小限の労力で、PythonからMeCabを使う方法を紹介致します。 使用した環境 Ubuntu 16.04 pytho... 続きを読む

MeCabをブーストさせよう - Qiita

2017/05/21 173 users Qiita qiita.com 動機 モチベーション 単語

はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、 http://qiita.com/Hironsan/items/2466fe0f344115aff177 ... 続きを読む

【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート

2017/05/07 126 users Twitter StatsBeginner エントリ オーラ

2017 - 05 - 07 【Python】MeCabと極性辞書を使ったツイートの感情分析入門 MeCab Python Twitter 負のオーラの自動検出 前回のエントリ で、著作権侵害にあたる違法アプロード動画をTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「... 続きを読む

日本語の形態素解析以外にもMeCabを使う、またはMeCabの辞書の仕組み - Write and Run

2017/02/04 97 users 食わず嫌い 辞書 ほん 形態素解析 Write and Run

2017 - 02 - 04 日本語の形態素解析以外にもMeCabを使う、またはMeCabの辞書の仕組み みなさん、和布蕪は好きですか。私は食べたことがありません。 さて、 MeCab は優秀な日本語の 形態素解析 機として有名ですが、みなさんは MeCab をそれ以外の用途で使ったことがありますか。食わず嫌いは感心できませんねぇ。 日本語の 形態素解析 機としての振る舞いは MeCab のほんの... 続きを読む

文字列アルゴリズムの学びかた - Hatena Developer Blog

2016/12/22 844 users Hatena Developer Blog パーザ 本稿

2016 - 12 - 22 文字列アルゴリズムの学びかた こんにちは！はてなアプリケーションエンジニアの id:takuya-a です。 みなさんは、このような疑問をもったことはありませんか？ grep はどのように文字列を検索しているのか？ MeCab はどうやって辞書を高速にルックアップしているのか？ パーサやコンパイラを作りたいけど、何から始めればいいのか？ 本稿では、「文字列アルゴリズム... 続きを読む

新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話 - Qiita

2016/10/13 464 users Qiita 高精度

JUMAN++は最近 黒橋・河原研究室 から発表された、JUMANの後継となる形態素解析器です。 これまでの形態素解析器と比べて違うのは、RNN言語モデルを用いて意味的自然さを考慮する、ニューラルネットワークを利用した形態素解析器となっている点です。 速度や語彙等の課題はあるものの、解析能力自体はMeCab以上なので、導入方法と共に触ってみた所感を述べてみます。 導入方法 前提 OS X Yose... 続きを読む

日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ

2016/05/11 1083 users 辞書 メジャー a_bicky 単語単位 形態素解析

こんにちは、買物情報事業部の荒引 ( @a_bicky ) です。 前回、 「検索結果の疑問を解消するための検索の基礎」 で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単... 続きを読む

形態素解析エンジンMeCabをPython3でも使えるようにする（Macの場合） - StatsBeginner: 初学者の統計学習ノート

2016/02/04 79 users StatsBeginner Python Mac エントリ

2016 - 02 - 05 形態素解析エンジンMeCabをPython3でも使えるようにする（Macの場合） MeCabのPythonバインディングはPython3で使えない？ 日本語の文章を解析する際には欠かせない、形態素解析エンジン"MeCab"の導入に関するエントリを以前書きました（ 過去エントリ ）。 MeCabの公式サイトにいくとPythonバインディングというのが配布されていて、Py... 続きを読む

[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました

2015/03/13 376 users mecab-ipadic-neologd NLP 文書 両方

MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 ところが、IPADICは先月に急に流行ったような言葉は収録していないので、今日生まれたような新しい文書(例、Apple Watch発売)を解析す... 続きを読む

Wikipediaで偶然“短歌”になった文章を、ランダムにつぶやくTwitterアカウントが登場 - はてなニュース

2015/01/19 63 users 短歌 Twitterアカウント Wikipedia ランダム

Wikipediaから、偶然短歌の体裁になっている文章を見つけ出してツイートするアカウント「偶然短歌bot（@g57577）」が、Twitterやはてなブックマークで注目を集めています。制作したのは、はてなユーザーのid:inaniwa_3さん。抽出作業ではWikipediaの日本語版を対象とし、オープンソースの形態素解析エンジンである「MeCab」を使用したそうです。 ▽ 偶然短歌bot(@g5... 続きを読む

日本語形態素解析器のイメージ - 唯物是真 @Scaled_Wurm

2014/12/21 57 users Scaled_Wurm Kytea Juman 辞書 唯物是真

2014-12-21 日本語形態素解析器のイメージ 自然言語処理 前にこんなツイートをしたけどもうちょっとちゃんとメモっておく ゆるふわカジュアル勢()なので内容に間違ってる点があったら教えてくださると嬉しいです勝手なイメージだと、MeCab →一番使われてる 。速い。辞書を弄くるのが簡単。いろいろ移植されてる。Juman→出力が詳しい。代表表記に正規化できる。KNPを使うときはこれ。KyTea→... 続きを読む

Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - Programming Log

2014/11/12 461 users Flask クローリング MongoDB error

2014-11-12 Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) Python MongoDB Webアプリ つくったもの はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリング... 続きを読む

Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura

2013/10/20 175 users laysakura CPANモジュール perl 拙作 単品

2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール，Search::Fulltext をリリースしました． これ単品だと英語での全文検索ができるのですが，これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります． ここ... 続きを読む

顔文字をMeCabで形態素解析する - Haroperi.log

2012/06/16 89 users 品詞 タスク 形態素解析 形態素 形態素解析器

NLP顔文字を形態素解析？テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類（品詞）を推定するというタスクは、形態素解析と同じ問題に帰着します。そこで今回私は、形態素解析器として使われているMeCabを用いて、顔文字を形態素解析してみました。デモまずはデモを試してみてください。... 続きを読む

単語と文字の話 : Preferred Research

2011/05/29 157 users Preferred Research 単語 PFI 文字 海野

4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という... 続きを読む

livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク

2011/05/16 221 users Wikipedia フレームワーク デフォルト 辞書 文句

ライブドアのエンジニア陣によるブログです。 大規模なサイト構築の裏側や気になる技術情報を掲載していきます。 突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことが... 続きを読む

きまぐれ日記: MeCabがiPhone,OSXに載っていると言うのは止めようと思う

2010/04/21 433 users きまぐれ日記

iPhoneのSDKの条項に変更が加わり、Flashのクロスコンパイルを含む 純正開発ツール以外で作成されたバイナリの配布が禁止となるようです。 世間でも散々言われていますが、この変更は正直とても残念です。 Apple的には「製品のクオリティーが保てないから」という理由だそうですが、 Windows版iTunesが意味もなくQuickTime入れたり、Windows非標準のUIを 使いまくっていて... 続きを読む

MeCabの辞書にはてなキーワードを追加しよう - 不可視点

2009/05/31 384 users 新語 辞書 チャット ソフトウェア 形態素解析

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般... 続きを読む

ウノウラボ Unoh Labs: PHPとMecabでキーワード自動リンクを実装する

2008/01/07 413 users trie ウノウラボ Unoh Labs PHP 山下

こんにちは、山下です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を形態素解析ツールMecabを使ってPHPで実装する方法を紹介したいと思います。 説明に入る前に少し補足しておくと、Trieの実装であるDouble-Array処理だけ利用したいのであれば、... 続きを読む

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

2007/06/22 227 users 品詞 チューニング 辞書 単語 ペア

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りま... 続きを読む

【レビュー】MeCabで形態素解析、はてなとWikipediaが知恵袋に - infony登場 (1) infonyとは | エンタープライズ | マイコミジャーナル

2007/04/06 93 users エンタープライズ Wikipedia info 我々 知恵袋

日々ネットに溢れ出る情報を収集し、フィルタリングし、振り分けて情報を摂取し続けるジャンキー達。そんな我々のための興味深いツールとしてInfolustを紹介した。InfolustはWikipediaを活用したサービスで、指定したページのコンテンツを要約して表示するWebサービスだ。Wikipediaを知識ベースとして自動的に処理をおこなうという、さながらオート編集者というべきものだ。 今回はinfo... 続きを読む

[を] MECAPI (MeCab API) 暫定版を公開

2006/09/18 72 users WebTool メガヒ 暫定版 http 日本語形態素解析器

MECAPI (MeCab API) 暫定版を公開 2006-09-18-1 [WebTool][NLP][MECAPI] taku-ku 氏による日本語形態素解析器 MeCab の Web Service を 作ってみたので公開します。その名も MECAPI (メカピ)！ - MECAPI - MeCab Web Service (MeCab API) http://mimitako.net/a... 続きを読む

Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた

2006/04/26 166 users Kazuho@Cybozu Labs コーパス tail

« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいの... 続きを読む