Chrome拡張「Scraper」でWEBページ情報を手軽にスクレイピングしてデータ化する方法

2015/05/04 1020 users スクレイピング Googleスプレットシート スク 特定 以下

Scraperとは Scraperは、WEBページ上の規則性のあるデータを手軽に取得することができるChrome拡張です。 例えば、テーブルデータや、Aリンクデータ、のような特定のHTML要素に入っている情報を、片っ端から取得してテーブルデータ化することができます。 また、その取得したデータをワンクリックでGoogleスプレットシートに保存することができます。 テーブルデータのスクレイピングは以下... 続きを読む

スクレイピングを防ぐための現時点でもっとも効果的な方法 | 海外SEO情報ブログ

2011/12/13 46 users スクレイピング スクレイパー スパマー Scraping スク

[レベル：中〜上級]今日はスクレイパーに打ち勝つ方法を紹介します。まず用語を定義しておきます。他人のサイトのコンテンツを第三者が無断でコピーすることを“スクレイピング”(Scraping)と呼びます。 スクレイピングするスパマーのことを“スクレイパー”(Scraper)と呼びます。ウェブの世界ではスクレイピングを防ぐ方法はありません。 コピペは、特殊な設定をしていない限り誰でも可能です。 RSS配... 続きを読む

サイトのクローリングにはScrappyがすごくいいかもしれない - perl勉強メモ

2011/07/09 128 users クローリング CPAN Gungho perl スクレイピング

cpan, スクレイピング | 01:13 | クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraperという組み合わせでクロールすることが多かったです。 しかしたまたま Scrappy を知り、少し触ってみたところすごくいいのではないか！？と思いまし... 続きを読む

ブログが続かないわけ | ログイン処理が簡単と言い切れるか 〜 フィッシング対策も忘れずに

2008/08/20 459 users フィッシング対策 ログイン処理 ブログ Collector

<< Web::Scraper を利用して画像をたくさん手に入れるWeb::Collector なんてものを書いた | main | exciteではなく、翻訳もGoogle でやる3つの理由 >> ログイン処理なんてほとんどのWebアプリケーションに必要だから、プログラマであれば簡単に作れると思われるかもしれないが、これが意外とあなどれない。初心者プログラマがやりがちな失敗から、最終的にどうあれ... 続きを読む

てきとうにクリックしたらてきとうにWeb::Scraperのコードを作ってくれるWebScraper IDE - bits and bytes

2008/03/12 212 users XPath SITEINFO bits and bytes

まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してW... 続きを読む

use Web::Scraper; - 今日のCPANモジュール

2007/12/29 401 users CPANモジュール miyagawa スクレイピング 年の瀬

年の瀬にさりげなく再開。 久しぶりということでネタはたくさんあるのですが、ぱっとすぐ思いつくおススメ Web::Scraper を紹介。これはその名のとおり、ウェブのスクレイピング（HTML のある部分を抽出）用のモジュールです。半年くらい前に生まれた新しいモジュールでありながら、すでにこの分野でメジャー感がある miyagawa プロダクトです。 API が用意されているサイトの情報は普通に A... 続きを読む

naoyaのはてなダイアリー - Web::Scraper

2007/05/09 174 users naoya web はてなダイアリー

Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain ... 続きを読む