Twitter、Google以外の検索エンジンを締め出しへ？ robots.txtが大幅改変され話題に【やじうまWatch】

2023/07/28 19 users Twitter やじうまWatch 検索エンジン 話題

続きを読む

あなたも同じミスをするかも？ robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ

2022/11/04 12 users クロール あめたま 挙動 落とし穴 SEO

illustration by つきのあめだま 最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか？ 知らなければうっかりハマってしまい、「コンテンツがインデックスされない！」となってしまうかも。 「実際の挙動の根拠は？」「どうすればこの落とし穴を避けられるの... 続きを読む

辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実

2022/10/29 414 users 辻正浩 実例 公共 トラブル 仕様

よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く 続きを読む

"security.txt" についてまとめみた

2022/01/14 17 users txt CISSP IETF セキュリティポリシー 標準

CISSPの継続学習で知ったので忘却録としてまとめました。 security.txtとは security.txtとは、IETFが提唱している、ウェブサイトにセキュリティポリシーやサイトの脆弱性を発見したときの連絡先を記載するための標準で、robots.txt、ads.txt、humans.txtと同じようにテキスト形式で記載します。 投稿当時（2021/10/22）... 続きを読む

メキシコ産 on Twitter: "デジタル庁の note の robots.txt、官公庁なのでちゃんとクロールできるようにしといてほしいですね https://t.co/J47LFvg5nZ https://t.co/v4txJkUXqG"

2021/05/13 32 users 官公庁 Note https デジタル庁 t.co

デジタル庁の note の robots.txt、官公庁なのでちゃんとクロールできるようにしといてほしいですね https://t.co/J47LFvg5nZ https://t.co/v4txJkUXqG 続きを読む

Google Search Console、「robots.txt によりブロックされましたが、インデックスに登録しました」への対処方法 | 3分ニュース: にゃんぷん

2020/04/09 38 users ttps ttp インデックス 特定 Google

Googleがrobots.txtを無視する robots.txtというファイルをブログに設置すると、特定のURLをGoogleがクロールしないように制御できます。 ttps://u-ff.com/korona-kannikensakitto-part1/?replytocom=64 ttps://u-ff.com/korona-kannikensakitto-part3/?replytocom=81 ttps://u-ff.com/crawl-budget/?replytocom=162 ttp... 続きを読む

グーグル、「robots.txt」プロトコルの仕様標準化を推進 - ZDNet Japan

2019/07/03 18 users REP プロトコル グーグル ライブラリ マッチング

Googleは米国時間7月1日、Robots Exclusion Protocol（REP）が将来安定したインターネット標準になることを願って、「Google Robots.txt Parser and Matcher Library」をオープンソースコミュニティに向けて公開した。REPはrobots.txtを使う際の仕様で、その解析やマッチングに使われてきたC++のライブラリなどが公開さ... 続きを読む

robots.txtでのnoindexをGoogleが完全にサポート終了、2019年9月1日から | 海外SEO情報ブログ

2019/07/02 81 users noindex REP User-Agent クロール 構文

[レベル: 上級] robots.txt の noindex 構文のサポートを終了することを Google は告知しました。 REP のインターネット標準化にともなう決定です。 機能していたが未サポートだった robots.txt の noindexクローラのクロールを拒否するために robots.txt では Disallow 構文を用います。 User-agent: * Disallow: /dont... 続きを読む

Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進 - GIGAZINE

2019/07/02 55 users GIGAZINE Bing クローラー ボット おかげ

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されてい... 続きを読む

Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に | 海外SEO情報ブログ

2019/07/01 14 users REP Googlebot クローラ mar クロール

[レベル: 上級] robots.txt の仕様を標準化する取り組みに Google は着手しました。 背景背景を完結に説明します。 検索エンジンのクローラ――Google で言えば Googlebot――のクロールを制御するために robots.txt を利用できます。 robots.txt の仕様を Robots Exclusion Protocol (REP) と呼びます。 REP はもともと Mar... 続きを読む

CDN(CloudFront)がGooglebotを認識してくれない場合はCDNにrobots.txtを置くと解決する - そーだいなるらくがき帳

2018/04/12 9 users Googlebot モバイ CDN CloudFront 理由

2018 - 04 - 11 CDN(CloudFront)がGooglebotを認識してくれない場合はCDNにrobots.txtを置くと解決する モバイ ルフレ ンドリーテストさんがオミカレの CSS を認識してくれない理由がわからなくて天を仰いでる。 — そーだい@初代ALF (@soudai1025) 2018年4月6日 Google Search Consoleでモバイル表示についてer... 続きを読む

トップ100万ウェブサイトのrobots.txtを解析した人とその結果 | 秋元@サイボウズラボ・プログラマー・ブログ

2017/11/24 48 users 秋元@サイボウズラボ プログラマー 解析結果 リーダーたち

An Analysis of the World's Leading robots.txt Files (世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。 G... 続きを読む

Wayback Machineがrobots.txtを無視するようになるかも？ | 海外SEO情報ブログ

2017/04/26 11 users 通告 ウェブページ Wayback Machine 上級 取得

[レベル: 上級] ウェブページをアーカイブ（取得、保存）する Wayback Machine が robots.txt に 従わなくなる 仕様変更を検討中です。 Wayback Machine の運営元である Internet Archive が公式ブログで通告 しました。 ウェブページの完全なスナップショットを取得するため Internet Archive が Wayback Machine ... 続きを読む

<meta name="robots" content="noindex"/> でも検索エンジンにインデックスされるケースがある - Islands in the byte stream

2017/03/31 14 users robots noindex メタタグ content ヘルプ

2017 - 03 - 31 <meta name="robots" content="noindex"/> でも検索エンジンにインデックスされるケースがある メタタグを使用して検索インデックス登録をブロックする - Search Console ヘルプ 重要: noindex メタタグを有効にするには、robots.txt ファイルでページをブロックしないでください。ページが robots.tx... 続きを読む

【2分でわかる】SEO内部対策の基礎！サイトがGoogleに評価されるrobots.txtの書き方 - 黒子の観察者

2015/12/23 37 users 同質化 一方 ウェブ SEO内部対策 Google

2015 - 12 - 24 【2分でわかる】SEO内部対策の基礎！サイトがGoogleに評価されるrobots.txtの書き方 SEO Google 検索エンジン 検索エンジンが「コンテンツの質」を評価するようになり、さまざまなコンテンツがウェブに溢れるようになりました。結果、今までより質の高いコンテンツが増えた一方、コンテンツの同質化が進み、差別化がしにくい状況だと思います。 このような状況に... 続きを読む

初心者にも分かる！robots.txtの作り方

2015/09/18 289 users クローラー クロール ディレクトリ 特定 Yahoo

robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.t... 続きを読む

CSSとJSファイルをブロックしているサイトに警告メッセージをGoogleが一斉送信 | 海外SEO情報ブログ

2015/07/28 63 users CSS JSファイル 一斉送信 警告メッセージ Google

[レベル: 中級]CSSとJavaScriptのファイルへのアクセスをrobots.txtでブロックしているサイトに対して、Search Console経由で警告メッセージをGoogleは一斉に送信し始めました。CSSおよびJSファイルにGooglebotがアクセスできませんGoogle Search Console Teamから次のようなメッセージが届きます。http://example.com... 続きを読む

アップル、ウェブクローラー「Applebot」の存在を認める - CNET Japan

2015/05/07 19 users Applebot ウェブクローラー Spotlight 規則

Appleがサポートページを更新し、ウェブクローラー「Applebot」が、音声制御アシスタント「Siri」や「Spotlight」検索候補などの製品に使われていることを明らかにした。 Appleによると、このウェブクローラーは検索エンジン用のエントリを作成するためにウェブサイトのページを巡回し、慣習的なrobots.txtの規則とrobots metaタグを尊重する。アクセス元は、17.0.0.... 続きを読む

ウェブマスターツールに2つの新機能: ブロックされたリソースとFetch as Googleレンダリング比較 | 海外SEO情報ブログ

2015/03/11 20 users リソース ウェブマスターツール 海外SEO情報ブログ 新機能

[レベル: 中級]Googleは、2つの新しい機能をウェブマスターツールに追加しました。ブロックされたリソースFetch as Googleのレンダリング結果比較順に説明します。 「ブロックされたリソース」はまったく新しい機能です。JavaScriptやCSS、画像などのコンテンツのレンダリングに必要なリソースがrobots.txtでブロックされていた場合、その状態をレポートします。「ブロックされ... 続きを読む

robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 編集長ブログ―安田英久 | Web担当者Forum

2014/11/18 63 users 安田英久 グーグル Web担 キャッシュ Web担トップ

Web担トップ » 編集記事一覧 » [コラム] Web担のなかの人――編集部ブログ » 編集長ブログ―安田英久 » robots.txtを修正したときにグーグルのキャッシュをす… 編集長ブログ―安田英久 robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。 安田英久（Web担 編集長）... 続きを読む

JavaScriptやCSSもクロール対象に、Googleがウェブマスター向けガイド更新 -INTERNET Watch

2014/10/28 86 users CSS INTERNET Watch Google ファ 一部

ニュース JavaScriptやCSSもクロール対象に、Googleがウェブマスター向けガイド更新 （2014/10/28 16:04） Googleは28日、ウェブマスター向けガイドラインを一部更新した。新しいガイドラインでは、ページ内で使用しているJavaScriptやCSS、画像ファイルに、Googlebot（Googleのクローラー）がアクセスできるよう、robots.txtでこれらのファ... 続きを読む

更新したrobots.txtをGoogleに送信する機能がウェブマスターツールのrobots.txtテスターに追加 | 海外SEO情報ブログ

2014/09/17 17 users ウェブマスターツール 操作 Google バージョン コード

robots.txtテスターに、更新したrobots.txtをGoogleに通知する機能が付いた。robots.txtテスターの送信機能を利用すると、「更新されたコードのダウンロード」「アップロードされたバージョンの確認」「アップロードされたバージョンの確認」の3つの操作を実行できる。 - 更新したrobots.txtをGoogleに送信する機能がウェブマスターツールのrobots.txtテスター... 続きを読む

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 183 users クローラ ウェブクローラ Search Console 特定

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

Google ウェブマスター向け公式ブログ: robots.txt ファイルのテストが簡単になりました

2014/07/17 33 users テスト ファイル 問題 難しい場合 2014年7月17日木曜日

robots.txt ファイルのテストが簡単になりました 2014年7月17日木曜日 | 10:59 クロールするべきか、しないべきか、それが robots.txt の問題です。 正しい robots.txt ファイルを作成して維持することは、ときに難しい場合もあります。ほとんどの場合はそうではありませんが（そもそも robots.txt ファイルを必要としないサイトも多くあります）、大きな ro... 続きを読む

robots.txtの書き方｜内部SEOの改善に必要な２７の基礎知識と具体策

2013/12/02 754 users メカニズム SEO 内部SEO 内部 具体策

SEOは既に「良質なコンテンツ」のみが検索上位を独占するようになりつつある。 そして、良質なコンテンツばかりになってくるとサイト内部がどれだけ最適化されているかが結果を分けるようになってくる。 robots.txtはその内部の最適化の施策一つで、適切に設定するとSEO効果を大きく改善することができる。 当記事では、robots.txtを正しく設定することでSEO効果が改善する具体的なメカニズムと、... 続きを読む