ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita

2017/07/03 536 users Qiita SPA Chrome スク

一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できない場合があります。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくない... 続きを読む