PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita

2015/10/29 200 users Qiita Pipeline Python スク Scrapy

概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、... 続きを読む

水道橋博士が「日本のアップル」と絶賛！：テレビの未来を変える家庭用「SPIDER」、間もなく発売 (1/2) - ITmedia PC USER

2012/10/16 507 users PTP USER アップル 絶賛 水道橋博士

テレビを全チャンネル1週間分まるまる録画して、後から見たい番組を探して楽しめるとして、一部で熱い注目を集めていた「SPIDER」シリーズだが、ついにその地上デジタル放送対応家庭用モデルが、開発中であることがPTPの製品Webサイト、およびTBS系のテレビ番組「がっちりマンデー!!」を通して発表された。 同製品については、価格など未公表の部分も多いが、公式Webサイトを注意深く見ると、「驚くほど静か... 続きを読む

ウノウラボ Unoh Labs: 国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く

2009/07/16 342 users ウノウラボ InnoDB ストレージエンジン MyISAM

こんにちは。中村です。 MySQLにはMyISAM、InnoDB、CSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会... 続きを読む