辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実

2022/10/29 414 users 辻正浩 実例 公共 トラブル 仕様

よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く 続きを読む

初心者にも分かる！robots.txtの作り方

2015/09/18 289 users クローラー クロール ディレクトリ 特定 Yahoo

robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.t... 続きを読む

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 183 users クローラ ウェブクローラ Search Console 特定

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

robots.txtの書き方｜内部SEOの改善に必要な２７の基礎知識と具体策

2013/12/02 754 users メカニズム SEO 内部SEO 内部 具体策

SEOは既に「良質なコンテンツ」のみが検索上位を独占するようになりつつある。 そして、良質なコンテンツばかりになってくるとサイト内部がどれだけ最適化されているかが結果を分けるようになってくる。 robots.txtはその内部の最適化の施策一つで、適切に設定するとSEO効果を大きく改善することができる。 当記事では、robots.txtを正しく設定することでSEO効果が改善する具体的なメカニズムと、... 続きを読む

それは robots.txt の問題じゃなくて... | WWW WATCH

2013/05/28 172 users WWW WATCH 不正アクセス キーワード た件 お詫び

なんか robots.txt がホットなキーワードになっていたので今さら知ったのですが、通信機器レンタルサービスの会社さんがクレジットカード情報をど派手に流出させたた件で、サイトに設置されていた robots.txt が色々と残念な件について話題になっていました。 robots.txt ： はてなブックマーク 不正アクセスによるお客様情報流出に関するお知らせとお詫び ： エクスコムグローバル株式会... 続きを読む

robots.txt

2013/05/27 158 users robots where Yahoo

# # robots.txt # # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where ... 続きを読む

シンプルなデザインが嬉しい、IE7もサポートしたレスポンシブデザイン用のHTML5フレームワーク -Wirefy | コリス

2012/07/16 147 users コリス jQuery Modernizr フレームワーク

HTML, CSSだけでなく、jQueryやmodernizrなどJavaScriptやrobots.txtなど、ウェブサイトを構築する際の基本セットが揃ったレスポンシブデザイン用のフレームワークを紹介します。 Wirefy Wirefyの対応ブラウザとデバイス Wirefyのデモ Wirefyの対応ブラウザとデバイス WirefyはIE7をはじめ、すべてのモダンブラウザ、スマートフォンデバイス、... 続きを読む

WordPressで作ったサイトを最適化するためのrobots.txt | コリス

2011/02/14 545 users コリス ペー ロボット WordPress ウェブ

WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。How to Write WordPress robots.txt for SEOrobots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。 参考：A Standard for Robot Exclusionロボットは自動化されており、サイトのペー... 続きを読む

高木浩光＠自宅の日記 - 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5)

2010/08/11 243 users 高木浩光 施策 クローラ 岡崎図書館事件 国会図書館

■ 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5) 平成22年4月1日施行の改正国立国会図書館法に基づき、国立国会図書館が、国・地方公共団体等の公共機関を対象に、インターネット上で公開されている資料のWebクローラによる収集を開始したという。その説明資料によると、クローラのアクセス間隔の基準は「1秒以上」だという。中野区立図書館の場合、/robots.txt が置か... 続きを読む

プロフェッショナル用のHTML5+CSS3+jQueryのテンプレート -HTML5 Boilerplate | コリス

2010/08/11 353 users コリス プロフェッショナ テンプレート htaccess 一式

プロフェッショナル向きに開発された、HTML5+CSS3+jQueryなど直接実装に関わるファイルから、robots.txt, .htaccessなどサーバー関連のファイルも一式にまとまったテンプレートを紹介します。 HTML5 Boilerplate 昨日、当サイトで紹介した「HTML5 Reset」もHTML5+CSS3をベースに開発されたテンプレートセットですが、こちらはよりプロフェッショナ... 続きを読む

http://mdn.mainichi.jp/robots.txt

2008/07/08 394 users http

続きを読む

オンラインで動く、色, CSS, robots.txt, .htaccess等のジェネレーター色々:phpspot開発日誌

2006/11/12 295 users htaccess CSS phpspot開発日誌 オンライン

オンラインで動く、色, CSS, robots.txt, .htaccess等のジェネレーター色々 2006年11月13日 Smashing Magazine Blog Archive Online Generators One can discuss, whether web-generators are useful or not. On the one hand, they don’t ch... 続きを読む

「Google Webmaster Central」でGooglebotのテストができる - GIGAZINE

2006/08/27 323 users Googlebot GIGAZINE ボット クオリティ 通常

GoogleがWebサイト管理者のために「Google Webmaster Central」というのを新しく開設したわけですが、中でも興味深いのがrobots.txtのための機能としてあの「Googlebot」のテストができるという点。通常のGooglebotだけでなく、AdWordsページのクオリティを審査するためのボットである「Adsbot-Google」のテストもできます。 というわけで、実... 続きを読む

はてなブックマークにおけるリンクの考え方について - はてなブックマーク日記

2005/10/20 158 users はてなブックマーク はてなブックマーク日記 リンク 考え方

使い方に関するご質問は、お問い合わせもしくははてなサポート掲示板まで。 サービスへのご要望や不具合報告は、はてなアイデアまでお寄せください。 ※コメント欄へのご質問には対応できない場合がございますのでご了承ください。 ■ はてなブックマークにおけるリンクの考え方について 15:40 はてなブックマークの利用拡大に伴い、「はてなブックマークへの登録は無断リンクである」「robots.txtの設置によ... 続きを読む