日本国内のCDNシェア:Geekなぺーじ

2017/11/16 246 users ページ CNAME CDN ＤＮＳ HTTPメッセージ

JStreamによる、日本のCDNシェアに関する調査結果が公表されています。 JStreamブログは、CDNに関連する色々な調査結果をブログで公開していて面白いです。 日本のCDNシェアについて調査結果＠2017年10月 JStreamブログの「市場調査」タグ 2017年10月版国内CDNシェアの調査方法は、Webクローラーによるもので、DNSに登録されたCNAMEや、HTTPメッセージに含まれる... 続きを読む

Apple独自のWebクローラー「Applebot」、公式に認める - ITmedia ニュース

2015/05/07 52 users Applebot Googlebot Spotlight

米Appleはこのほど、独自のWebクローラー「Applebot」の存在を認めた。SiriとSpotlightなどに活用するためのものだという。 Appleがサポートページで公開した情報によると、Applebotは他社クローラーと同様にサイトのrobot.txtを尊重し、Applebotへの指示がない場合はGooglebotへの指示に従うという。 UserAgent表示には「Applebot」のほ... 続きを読む

JavaScriptにも対応出来るruby製のクローラー、Masqueを試してみる - プログラマになりたい

2013/12/23 63 users プログラマ Capybara Ruby製 Anemone 解釈

ちょっと前に試そうと思って、そのまま放置していたruby製のクローラー「Masque」を試してみます。ruby製のクローラーは、他にはAnemoneという優秀なものがあります。その上で何故というと、MasqueはCapybaraのDSLで記述出来るWebクローラーです。つまりCapybaraを動かす為のものなので、JavaScriptも解釈が出来るということです。Anemoneはあくまで個別個別の... 続きを読む

MOONGIFT: » クローラーを作るためのフレームワーク「Anemone」:オープンソースを毎日紹介

2009/07/07 372 users Anemone MASHUP MOONGIFT クローラー

RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得... 続きを読む