検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入 :: SEM R

2009/02/13 789 users rel canonical SEM R TrackBack

検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入 Google、Yahoo!、Microsoft3社が　rel="canonical"　をサポート。クローラが適切な（canonical）サイトを見つける手がかりに。 2009年02月13日 15:37 | サーチニュース 09 | TrackBack (0) | Google、Yahoo!、Microsoftの3社は20... 続きを読む

法と技術とクローラと私 - 最速転職研究会

2010/07/07 701 users 勾留 実名 librahack.jp 逮捕 大手ポータルサイト

00:02 | こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。関連URL: http://librahack.jp/電話してみた的な話http://www.nantoka.com/~kei/diary/?... 続きを読む

クローラを作る技術と設計

2011/09/03 468 users Loading or above 設計 技術

Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. クローラを作る技術と設計 - Presentation Transcript クローラを作る技術と... 続きを読む

【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。 | IT法務や仮想通貨、ICO、AIの法律に詳しい弁護士｜中野秀俊

2017/12/15 357 users スクレイピング ico 中野秀俊 Out IT法務

スクレイピングによってデータベースを作りたい！はいいのか？ スクレイピングとは、ウェブサイトから、ウェブページのＨＴＭＬデータを取得して、取得したデータの中から、特定のトピックに関わるデータを抽出、整形しなおすことをいいます。 スクレイピングは、ウェブ上にあるデータを取得する際に、クローラを用いて... 続きを読む

[を] Webサイトをケータイからのみアクセス可能にする方法

2008/01/09 339 users ケータイ アクセス Webサイト 方法 Tips

Webサイトをケータイからのみアクセス可能にする方法 2008-01-09-4 [Tips] ケータイ（およびモバイル検索用クローラ）からのみ アクセス可能にする方法のメモ。 ケータイ用サイトにPCサイト用のクローラが来ると、 重複判定されがちで（そういうサイトなのです） SEO 的にアレなので、 ケータイ世界とPC世界をきっちり分断したい、遮断したい、 というのがモチベーション。 私のモバイルサ... 続きを読む

ウノウラボ Unoh Labs: 携帯サイトとクローラ

2007/09/27 335 users ウノウラボ alternate haruki MOB href

harukiです。 ケータイユーザも検索エンジンから来るユーザも増えています。 そのため、携帯サイトも検索エンジンのクローラへ対応する必要があります。 ・Mobile Link Discoveryの記述を追加する PC用のページのheadタグ内に <link rel="alternate" media="handheld" href="(ケータイURL)" /> の記述を追加するだけです。 Mob... 続きを読む

高木浩光＠自宅の日記 - 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5)

2010/08/11 243 users 高木浩光 robots.txt 施策 岡崎図書館事件 公共機関

■ 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5) 平成22年4月1日施行の改正国立国会図書館法に基づき、国立国会図書館が、国・地方公共団体等の公共機関を対象に、インターネット上で公開されている資料のWebクローラによる収集を開始したという。その説明資料によると、クローラのアクセス間隔の基準は「1秒以上」だという。中野区立図書館の場合、/robots.txt が置か... 続きを読む

livedoor ReaderのクローラとStreaming APIなどの話

2010/03/10 232 users Streaming API

Loading... Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 続きを読む

404 Blog Not Found:クローラにしかとシカトしてもらう50の方法

2006/10/28 186 users 404 Blog Not Found 方法

[を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。 robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion ... 続きを読む

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 183 users robots.txt ウェブクローラ 特定 ヘルプ ツール

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

ほとんどの「論理マークアップ」はクローラにとってはクソの役にも立たない : ひろ式めもちょう

2007/04/02 174 users クソ ひろ式め

追追記：このエントリ、いつのまにか元記事よりも多くSBMされてるみたいだけどそんなに読む価値あるのかしら…。 どっちにしろたくさんアクセスされているようなので、すかさずアフィリエイトを貼っておこう。さあ、キミたち買うんだ。 Japan.internet.com Webビジネス - SEO のキホン―なぜ論理構造が必要なのか http://japan.internet.com/busnews/200... 続きを読む

SEOポイズニングの手法を使用した偽ECサイトについて - tike blog

2018/07/29 131 users SEOポイズニング 踏み台 手法 tike blog ユー

はじめに 今年3月、リクルートテクノロジーズ社が偽サイトへの誘導を目的としたSEOポイズニングに関する記事を公開しました。 recruit-tech.co.jp 脆弱性を突くなどして他のサイトに検索エンジン(Google等)のクローラのみがアクセスできるページを不正に設置し、このページを踏み台として攻撃者が運用する偽サイトにユー... 続きを読む

Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に - GIGAZINE

2012/05/16 97 users Googlebot GIGAZINE クロール 一連 プロセス

By Mechanekton Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット上の数十億のページを取得（クロール）するため、クローラとも呼ばれています。 しかし所詮はプログラム... 続きを読む

開設間もないサイトのSEOがうまくいっているかどうかのチェック項目 | ウェブ力学

2011/05/23 88 users ウェブ力学 SEO チェック項目 ペナルティ ミドルワード

サイトを開設したばかりの頃は、ビッグワードやミドルワードで上位表示出来るわけではないので、SEOがうまくいっているのかどうか不安になることもあるのではないかと思います。 そこで今回は、サイトを新規に開設して数ヶ月ぐらい経った頃にSEOがきちんとできているかどうかをチェックするための項目をまとめてみました。 開設して間もない時期にSEOの面でチェックしたいのは、 ペナルティを受けてないこと クローラ... 続きを読む

CNET Japan Blog - 渡辺隆広のサーチエンジン情報館：日本語URLを導入するアマゾンの狙いはSEO？

2007/02/05 83 users 渡辺隆広 SEO ユーザエージェント アマゾン 狙い

本日はアマゾン（www.amazon.co.jp ）の日本語URL導入について書きます。 アマゾンは最も効率的にSEO（検索エンジン最適化）を実行している企業の1つです。同社のアソシエイト・プログラム（アフィリエイト）が生成するリンクはSEOが考慮されており、ユーザエージェントの識別によりブラウザ（人）がアクセスする場合と検索エンジン（クローラ）がアクセスする場合とで転送先URLを変更しています。... 続きを読む

Goによるプライベートネットワークへのアクセスを禁止するHTTPクライアントの実装 - はこべブログ ♨

2015/08/05 82 users HTTPクライアント はこべブログ 実装 アクセス 故意

2015-08-05 Goによるプライベートネットワークへのアクセスを禁止するHTTPクライアントの実装 クローラのように、ユーザからの入力に応じて任意のURLにHTTPリクエストを発行するソフトウェアは、誤ってプライベートネットワークへのリクエストを処理しないようにする必要があります。悪意のあるユーザが故意にプライベートなネットワークに対してリクエストして、内部情報にアクセスするといった攻撃を行... 続きを読む

[を] Perl、PHPでGooglebotを一定の確率ではじく

2007/05/01 75 users Googlebot robots.txt perl PHP

Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設... 続きを読む

スマートフォン向けサイトを検索エンジンに最適化するためのポイント ::SEM R

2011/12/16 55 users SEM R 検索エンジン ポイント スマートフォン向けサイト

スマートフォン向けサイトを検索エンジンに最適化するためのポイント スマートフォン向けサイトを検索エンジンに適切に認識させるための方法について。 2011年12月16日 15:06 | サーチニュース 2011, モバイル検索 / 携帯検索 | TrackBack (0) | 執筆：Takahiro Watanabe+ GoogleがスマートフォンUAを持つクローラを公式に発表したことで関心を持つ方... 続きを読む

米Google、スマートフォンサイト専用のクローラを発表 ::SEM R

2011/12/15 48 users クローリング TrackBack 巡回 執筆 SEM R

米Google、スマートフォンサイト専用のクローラを発表 グーグル、スマートフォンサイトのクローリングを目的とした新しいgooglebotクローラ発表。 2011年12月16日 00:39 | サーチニュース 2011 | TrackBack (0) | 執筆：Takahiro Watanabe+ 米Googleは2011年12月15日、スマートフォンサイトのコンテンツをクローリング（巡回）するこ... 続きを読む

ssig33.com - クローラー運用について

2014/10/13 47 users クローラー運用 ssig33.com 並列 蛮族 ドメイン

fl.ssig33.com を公開した LDR ユーザーの中で ssig33.com を読むような人達は蛮族だった 15 万フィードほどいきなりクロールすることになった という問題が発生しました。以下やった対処。 クローラの UA に連絡先を入れる これ多分一番重要 並列クロールするようにする 同じドメインは並列にクロールしない このドメインとこのドメインは並列にクロールしないみたいなブラックリス... 続きを読む

Google ウェブマスター向け公式ブログ: より多くの有益なコンテンツを検索結果に: クローラが POST リクエストにも対応しました

2012/01/31 44 users Caffeine POST リクエスト クロール コンテンツ

より多くの有益なコンテンツを検索結果に: クローラが POST リクエストにも対応しました 2012年1月31日火曜日 | 11:02 Google はインターネットの発展とともに、クロールやインデックスの技術も進化させていくべきと考えています。これまでにも、Flash のインデックス登録を改良 （英語）し 、Caffeine というより新しいインフラストラクチャー （英語）を導入してきました。ま... 続きを読む

Google ウェブマスター向け公式ブログ: クローラとインデックスの制御について詳しい資料を code.google.com で公開しました！

2011/02/02 39 users code.google.com robots インデックス

クローラとインデックスの制御について詳しい資料を code.google.com で公開しました！2011年2月2日水曜日 | 13:20今回は英語の資料となりますが、非常に有益なものですのでご紹介させていただきます。 Google のクローラ（Googlebot）と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。 例えばrobots... 続きを読む

攻撃ツール - ひろゆきが2ちゃんねるを捨てなかった理由 Wiki*

2014/04/15 37 users ひろゆき 攻撃ツール ２ちゃんねる Jim 迂回

2ch.scは2ちゃんねるの攻撃ツールを不特定多数に配ろうとしている。利用者はサイバー攻撃を行ったとして家に警察が来る物と思われる ソースとなった2ch．scの書き込み 4095 名前：名無しさん＠１３周年[] 投稿日：2014/04/14(月) 04:46:02.73 ID:wJLzpOd2P [1/4] jimがさくらのクローラを遮断したみたいだな 迂回しても迂回→遮断のイタチごっこは目に見え... 続きを読む

Apple のウェブクローラ「Applebot」の存在が確認される ::SEM R (#SEMR)

2015/05/06 32 users SEMR Applebot ウェブクローラ ウェブページ 存在

Apple のウェブクローラ「Applebot」の存在が確認される アップルのウェブクローラ「Applebot」に関する説明ページが公開される。 公開日時：2015年05月07日 02:45 Barry Schwartz氏が Search Engine Land でかねてから噂されていた Apple のクローラの存在が確認できたことを報じている。 Apple が公式に公開しているウェブページによる... 続きを読む

クローラを生まれ変わらせるにあたっての思考 - かれ4

2015/12/14 24 users カレ 思考

2015 - 12 - 14 クローラを生まれ変わらせるにあたっての思考 crawler scraping キャベツはどうした お料理行進曲 Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上で AWS のLambdaを動かしているのと似た アーキテクチャ になってい... 続きを読む