Apple のウェブクローラ「Applebot」の存在が確認される ::SEM R (#SEMR)

2015/05/06 32 users Applebot SEMR クローラ ウェブページ Apple

Apple のウェブクローラ「Applebot」の存在が確認される アップルのウェブクローラ「Applebot」に関する説明ページが公開される。 公開日時：2015年05月07日 02:45 Barry Schwartz氏が Search Engine Land でかねてから噂されていた Apple のクローラの存在が確認できたことを報じている。 Apple が公式に公開しているウェブページによる... 続きを読む

【Google】サイトマップにはXMLとRSS/Atomフィードの両方を送信することを推奨 - 検索サポーターのアンテナ

2014/10/17 39 users XML ATOMフィード クローリング 推奨 両方

2014-10-18 【Google】サイトマップにはXMLとRSS/Atomフィードの両方を送信することを推奨 Google Webサービス 検索 ウェブマスターツールに登録しましょう 私が毎日チェックしているサイト『海外SEO情報ブログ』に、Googleが英語版ウェブマスター向け公式ブログにて、ウェブクローラのクローリングを促進する手助けとして、サイトマップページについてXMLサイトマップとR... 続きを読む

Google、サイトマップページ形式はXMLとRSS/Atomフィードの両方を推奨::SEM R (#SEMR)

2014/10/17 22 users SEMR クローリング TrackBack ATOMフィード

Google、サイトマップページ形式はXMLとRSS/Atomフィードの両方を推奨 グーグル、ウェブクローラのクローリングを手助けするサイトマップページについて、XMLサイトマップとRSS/Atomフィードの両フォーマットの併用を推奨。 2014年10月17日 17:57 | Google 2010-2014 | TrackBack (0) | 執筆：Takahiro Watanabe+ 米Goo... 続きを読む

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 183 users robots.txt クローラ 特定 ヘルプ ツール

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

スノーデン氏のツールが判明、NSAのセキュリティにさらなる懸念--NYT報道 - CNET Japan

2014/02/10 27 users NSA NYT ＮＹＴ報道 スノーデン氏 懸念

Edward Snowden氏は、米国家安全保障局（NSA）の機密文書を入手する際に、ありふれた「ウェブクローラ」ソフトウェアを使用していたという。New York Times（NYT）が匿名の情報関係職員らからの情報として伝えた。今回明らかになった内容により、NSAにおける内部セキュリティ対策の有効性についてさらなる懸念が持ち上がっている。 当該情報関係職員らは、具体的なソフトウェアの名称を挙げ... 続きを読む