はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ ウェブクローラ

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 1 / 1件)
 

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 このエントリーをはてなブックマークに追加 183 users Instapaper Pocket Tweet Facebook Share Evernote Clip robots.txt クローラ 特定 ヘルプ ツール

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

 
(1 - 1 / 1件)