Mechanizeでのスクレイピング時、アクセス元IPアドレスを分散させる - かなりすごいブログ

2014/12/17 59 users ConoHa VPS 最安 IPアドレス プラン アクセス元

Ruby Advent Calendar 2014 17日目Ruby Advent Calendar 2014、17日目の記事になります。スクレイピング時にアクセス元のIPアドレスを分散させたいConoHa VPSではVPS1契約ごとに最大16個の追加IPアドレスを購入できます。1つあたり200円と安価で、最安のプランで契約し追加IPアドレスを16個オプションで追加すれば、17個のIPアドレスを持... 続きを読む

まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば (Poetry, Writing and Contemplation)

2014/10/01 516 users かれら ウェブサービス Poetry API ターゲット

2014-10-01 まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） JavaScript WebDriver 今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供して... 続きを読む

BeautifulSoup、Mechanizeでおいしくデータをすする -- PythonによるWebスクレイピング - 蟲！虫！蟲！ - #!/usr/bin/bugrammer

2011/12/03 85 users beautifulsoup usr bin Python

例えば、Webサイトのデータを習得したいときに使われる標準モジュールとして、urllib2というのがあります。基本的に、urllib2はセッションの無いときに使えるものですが、どうしてもセッション要求してくるサイトというのがあります。そういうときに使いたいのがMechanizeです。 Mechanizeってなに？ いわゆるブラウザを擬似的にエミュレートしてくれるモジュール。元がPerl版らしく、そ... 続きを読む

pythonモジュールmechanizeでWeb上の作業を自動化する | TRIVIAL TECHNOLOGIES on CLOUD

2011/11/08 207 users プログラマブル Python オブジェクト 作業 WEB上

mechanizeはWeb上の操作を自動化してくれる便利なPythonのライブラリ。Pure Pythonなのでいろんなところで動くよ。 「Web上の操作を自動化する」っていうのは，例えばどこかのサービスにログインしてあれこれするとか，そういったことをプログラマブルに行える，ということ。フォームの操作などもオブジェクトを使って実行できるのでとても手軽。Webアプリの開発などではテストに使われたりす... 続きを読む

M.C.P.C.: WWW::Mechanizeはmetaタグを見てデコードするが、charset=Shift_JISのコンテンツって実際にはCP932なので化けるじゃねえか問題

2011/02/24 9 users perl ｗｗｗ metaタグ UTF-8 Shift_JIS

WWW::Mechanizeはmetaタグを見てデコードするが、charset=Shift_JISのコンテンツって実際にはCP932なので化けるじゃねえか問題TweetWWW::Mechanizeという、Perlで使う画面表示がないブラウザがあるんですけれども、こいつは取得するHTML文書がShift_JISでも、UTF-8でも、metaタグのcharset指定を読み込んで、デコードしてくれる機能... 続きを読む

最速インターフェース研究会 :: IEの遠隔操作用ライブラリmechanize.js

2006/07/12 96 users misc 最速インターフェース研究会 ｗｗｗ ライブラリ 前回

先日のShibuya.js Techtalk#2では開発手法の話とかは(前回話したので)あまりしなかったのですが、そういう話を知りたいという人も多いようなので適当に公開していこうと思います。 http://la.ma.la/misc/js/mechanize/ WWW::Mechanizeと似たインターフェースでIEを遠隔操作するライブラリです。htaから呼び出してテスト用のツールを作ったりします... 続きを読む

はてブのブクマを livedoor クリップにクリップしてみる件 - にぽたん研究所

2006/06/28 86 users ブクマ livedoor ｗｗｗ グリップ ぽたん研究所

livedoor クリップとかいうソーシャルブックマークがオープンしていたので、はてブユーザの自分としては、はてブのブクマを全部 livedoor クリップにデータ移行が出来たらなぁとか思った。 なので、はてブから livedoor クリップに移すのを作ってみた。 どうも livedoor クリップにはまだ API 的なものが用意されていないっぽいので、WWW::Mechanize を使って、フォ... 続きを読む