サイトのクローリングにはScrappyがすごくいいかもしれない - perl勉強メモ

2011/07/09 128 users クローリング CPAN Scraper perl ｗｗｗ

cpan, スクレイピング | 01:13 | クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraperという組み合わせでクロールすることが多かったです。 しかしたまたま Scrappy を知り、少し触ってみたところすごくいいのではないか！？と思いまし... 続きを読む