「第2回Webスクレイピング勉強会@東京」に参加＆発表してきました - プログラマになりたい

2014/08/20 40 users プログラマ フッター 東京 参加＆ ヘッダー

2014-08-20 「第2回Webスクレイピング勉強会@東京」に参加＆発表してきました 前回に引き続き、第2回Webスクレイピング勉強会@東京に参加し、発表もしてきました。今回は、ブログやサイトから本文部分をどうやって抽出するのかというテーマです。ブログの本文抽出とは、ヘッダーやフッダー、サイドメニューなど情報として不要な部分を排除して、本文部分だけを抜き出す手法です。HTMLのタグを解析するル... 続きを読む

Ruby で Web ページの本文を抽出する方法 - present

2013/06/30 33 users nakatani GitHub present Ruby 前提

2013-06-30 Ruby で Web ページの本文を抽出する方法 Ruby ExtractContent を使えばいい。 Webページの本文抽出 (nakatani @ cybozu labs) ただ、上の記事の ExtractContent は Ruby1.9 以上では動かなかった。正規表現エンジンが変わったからね…。 無ければ自分で修正することを前提に、GitHub で探したら、案の定 ... 続きを読む

WebDB Forum 2011 で「 CRF を使った Web 本文抽出」を発表してきました - Mi manca qualche giovedi`?

2011/11/05 70 users CRF サイボウズ web 発表

WebDB Forum, 本文抽出昨年に引き続き、今年も WebDB Forum 2011 のサイボウズの企業セッションでの発表の機会をいただきましたので、「 CRF を使った Web 本文抽出」について話をさせていただきました。 CRF を使った Web 本文抽出 for WebDB Forum 2011 View more presentations from Shuyo Nakatani こ... 続きを読む

Webページの本文抽出 (nakatani @ cybozu labs)

2007/09/12 335 users require nakatani カテゴライズ UTF-8

Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 ... 続きを読む