AWS Lambda+PhantomJS/CasperJSでスクレイピング - プログラマになりたい

2015/11/30 42 users shell スクレイピング プログラマ AWS ライブラリ

2015-12-01 AWS Lambda+PhantomJS/CasperJSでスクレイピング aws クローラー スクレイピング AWS Lambdaはサーバ不要のプログラムの実行エンジンです。インフラ側はAWSが管理するのですが、実行原理が解っていると思いの外に自由度が高いです。Shellやコマンドを同梱させれば動くし、依存するライブラリがなければAmazon Linux上でビルドして同梱さ... 続きを読む

PSGI + SeleniumでMTの管理画面のテストをする - あと味

2014/05/01 19 users Selenium PSGI Per perl ロジック

2014-05-01 PSGI + SeleniumでMTの管理画面のテストをする MTの管理画面は、JavaScriptに依存した部分が結構多く、phantomjs等のヘッドレスブラウザを使ったテストが必要になるケースがあります。 CasperJSや、Seleniumなど、いろいろなツールがありますが、MTの管理画面のロジックは、Perlで書かれているので、Perlで書けるのがベストです。Per... 続きを読む

casperjsのテストをUI操作で作成する。 - Qiita

2014/04/25 41 users Qiita webstore github.com テスト

概要 CasperJSのテストをUI操作で生成してくれるChromeプラグイン github https://github.com/ebrehault/resurrectio プラグイン https://chrome.google.com/webstore/detail/resurrectio/kicncbplfjgjlliddogifpohdhkbjogm 感想 簡単にテストを作成できる。 ちゃ... 続きを読む

casperJSでwebスクレイピング | THE SportsBusiness

2013/06/27 296 users Webスクレイピング

こんにちは。 エンジニアのぽぽです。 スポーツビジネスと技術を関連づけた記事を・・・というのはちょっと難しいので、運営しているサービスの技術的な裏側でも紹介しようと思います。 現在運営しているサービスの一つにCSParkという大学スポーツ総合サイトがあり、大学スポーツのニュースやコラム、ムービー、ブログ等を掲載しているのですが、その中のニュースについて取り上げてみます。 ニュースの記事はスタッフ書... 続きを読む