Googleのクロールバジェットとは？ | 3分ニュース: にゃんぷん

2020/04/05 21 users クロールバジェット Crawl Budget バジェット 巡回

Googleのクロールバジェットとは？ まずは用語の確認から。 クロール(crawl)とは、Googleなどの検索エンジンが世界中のサイトを巡回・訪問すること。 クローラー（crawler）とは、Googlebotなどのようにクロールをする検索エンジンのAIのこと。 バジェット(budget）とは、予算のこと。 クロールバジェットとは、Googleが... 続きを読む

WebCrawler in Scala - Web就活日記

2014/12/31 22 users Web就活日記 Scala Nutch インターネット 選択

2014-12-30 WebCrawler in Scala Crawler in Scala 検索Crawlerを作る - Web就活日記 以前はnutchを使ったcrawlerを試してみましたが、今回はcrawler自体をscalaで書いているものをまとめようと思います。インターネットで紹介されているものの中には全然使えないものもあったりするので、選択には気をつけてください。個人的にはまとめた... 続きを読む

Excel VBA+IEでのスクレイピング - プログラマになりたい

2014/12/28 415 users スクレイピング プログラマ クローラー VBA DOM操作

2014-12-28 Excel VBA+IEでのスクレイピング crawler 書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手... 続きを読む

phantomjs を Perl からつかえる Wight をためした記録。 - tokuhirom's blog.

2012/10/13 24 users Wight YAPC PhantomJS motemen メモ

YAPC で motemen さんが発表していた Wight をためしたのでそのメモ。まだ開発途中なかんじなのでドキュメントなどは揃っていないが、ひととおりのメソッドは用意されている、といった印象です。しかしいくつかハマりどころもあるのでメモしておきます。背景として、テストしたいとかではなく Crawler とかを Wight つかって書こうとしてみているという話です。 Wight::Node の... 続きを読む