SEOポイズニングの手法を使用した偽ECサイトについて - tike blog

2018/07/29 131 users SEOポイズニング 踏み台 手法 tike blog ユー

はじめに 今年3月、リクルートテクノロジーズ社が偽サイトへの誘導を目的としたSEOポイズニングに関する記事を公開しました。 recruit-tech.co.jp 脆弱性を突くなどして他のサイトに検索エンジン(Google等)のクローラのみがアクセスできるページを不正に設置し、このページを踏み台として攻撃者が運用する偽サイトにユー... 続きを読む

【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。 | IT法務や仮想通貨、ICO、AIの法律に詳しい弁護士｜中野秀俊

2017/12/15 357 users スクレイピング ico 中野秀俊 Out IT法務

スクレイピングによってデータベースを作りたい！はいいのか？ スクレイピングとは、ウェブサイトから、ウェブページのＨＴＭＬデータを取得して、取得したデータの中から、特定のトピックに関わるデータを抽出、整形しなおすことをいいます。 スクレイピングは、ウェブ上にあるデータを取得する際に、クローラを用いて... 続きを読む

Goによるプライベートネットワークへのアクセスを禁止するHTTPクライアントの実装 - はこべブログ ♨

2015/08/05 82 users HTTPクライアント はこべブログ 実装 アクセス 故意

2015-08-05 Goによるプライベートネットワークへのアクセスを禁止するHTTPクライアントの実装 クローラのように、ユーザからの入力に応じて任意のURLにHTTPリクエストを発行するソフトウェアは、誤ってプライベートネットワークへのリクエストを処理しないようにする必要があります。悪意のあるユーザが故意にプライベートなネットワークに対してリクエストして、内部情報にアクセスするといった攻撃を行... 続きを読む

robots.txt テスターで robots.txt をテストする - Search Console ヘルプ

2014/09/03 183 users robots.txt ウェブクローラ 特定 ヘルプ ツール

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテ... 続きを読む

Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に - GIGAZINE

2012/05/16 97 users Googlebot GIGAZINE クロール 一連 プロセス

By Mechanekton Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット上の数十億のページを取得（クロール）するため、クローラとも呼ばれています。 しかし所詮はプログラム... 続きを読む

スマートフォン向けサイトを検索エンジンに最適化するためのポイント ::SEM R

2011/12/16 55 users SEM R 検索エンジン ポイント スマートフォン向けサイト

スマートフォン向けサイトを検索エンジンに最適化するためのポイント スマートフォン向けサイトを検索エンジンに適切に認識させるための方法について。 2011年12月16日 15:06 | サーチニュース 2011, モバイル検索 / 携帯検索 | TrackBack (0) | 執筆：Takahiro Watanabe+ GoogleがスマートフォンUAを持つクローラを公式に発表したことで関心を持つ方... 続きを読む

クローラを作る技術と設計

2011/09/03 468 users Loading or above 設計 技術

Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. クローラを作る技術と設計 - Presentation Transcript クローラを作る技術と... 続きを読む

開設間もないサイトのSEOがうまくいっているかどうかのチェック項目 | ウェブ力学

2011/05/23 88 users ウェブ力学 SEO チェック項目 ペナルティ ミドルワード

サイトを開設したばかりの頃は、ビッグワードやミドルワードで上位表示出来るわけではないので、SEOがうまくいっているのかどうか不安になることもあるのではないかと思います。 そこで今回は、サイトを新規に開設して数ヶ月ぐらい経った頃にSEOがきちんとできているかどうかをチェックするための項目をまとめてみました。 開設して間もない時期にSEOの面でチェックしたいのは、 ペナルティを受けてないこと クローラ... 続きを読む

高木浩光＠自宅の日記 - 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5)

2010/08/11 243 users 高木浩光 robots.txt 施策 岡崎図書館事件 公共機関

■ 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5) 平成22年4月1日施行の改正国立国会図書館法に基づき、国立国会図書館が、国・地方公共団体等の公共機関を対象に、インターネット上で公開されている資料のWebクローラによる収集を開始したという。その説明資料によると、クローラのアクセス間隔の基準は「1秒以上」だという。中野区立図書館の場合、/robots.txt が置か... 続きを読む

法と技術とクローラと私 - 最速転職研究会

2010/07/07 701 users 勾留 実名 librahack.jp 逮捕 大手ポータルサイト

00:02 | こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。関連URL: http://librahack.jp/電話してみた的な話http://www.nantoka.com/~kei/diary/?... 続きを読む

livedoor ReaderのクローラとStreaming APIなどの話

2010/03/10 232 users Streaming API

Loading... Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 続きを読む

検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入 :: SEM R

2009/02/13 789 users rel canonical SEM R TrackBack

検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入 Google、Yahoo!、Microsoft3社が　rel="canonical"　をサポート。クローラが適切な（canonical）サイトを見つける手がかりに。 2009年02月13日 15:37 | サーチニュース 09 | TrackBack (0) | Google、Yahoo!、Microsoftの3社は20... 続きを読む

[を] Webサイトをケータイからのみアクセス可能にする方法

2008/01/09 339 users ケータイ アクセス Webサイト 方法 Tips

Webサイトをケータイからのみアクセス可能にする方法 2008-01-09-4 [Tips] ケータイ（およびモバイル検索用クローラ）からのみ アクセス可能にする方法のメモ。 ケータイ用サイトにPCサイト用のクローラが来ると、 重複判定されがちで（そういうサイトなのです） SEO 的にアレなので、 ケータイ世界とPC世界をきっちり分断したい、遮断したい、 というのがモチベーション。 私のモバイルサ... 続きを読む

ウノウラボ Unoh Labs: 携帯サイトとクローラ

2007/09/27 335 users ウノウラボ alternate haruki MOB href

harukiです。 ケータイユーザも検索エンジンから来るユーザも増えています。 そのため、携帯サイトも検索エンジンのクローラへ対応する必要があります。 ・Mobile Link Discoveryの記述を追加する PC用のページのheadタグ内に <link rel="alternate" media="handheld" href="(ケータイURL)" /> の記述を追加するだけです。 Mob... 続きを読む

[を] Perl、PHPでGooglebotを一定の確率ではじく

2007/05/01 75 users Googlebot robots.txt perl PHP

Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設... 続きを読む

ほとんどの「論理マークアップ」はクローラにとってはクソの役にも立たない : ひろ式めもちょう

2007/04/02 174 users クソ ひろ式め

追追記：このエントリ、いつのまにか元記事よりも多くSBMされてるみたいだけどそんなに読む価値あるのかしら…。 どっちにしろたくさんアクセスされているようなので、すかさずアフィリエイトを貼っておこう。さあ、キミたち買うんだ。 Japan.internet.com Webビジネス - SEO のキホン―なぜ論理構造が必要なのか http://japan.internet.com/busnews/200... 続きを読む

CNET Japan Blog - 渡辺隆広のサーチエンジン情報館：日本語URLを導入するアマゾンの狙いはSEO？

2007/02/05 83 users 渡辺隆広 SEO ユーザエージェント アマゾン 狙い

本日はアマゾン（www.amazon.co.jp ）の日本語URL導入について書きます。 アマゾンは最も効率的にSEO（検索エンジン最適化）を実行している企業の1つです。同社のアソシエイト・プログラム（アフィリエイト）が生成するリンクはSEOが考慮されており、ユーザエージェントの識別によりブラウザ（人）がアクセスする場合と検索エンジン（クローラ）がアクセスする場合とで転送先URLを変更しています。... 続きを読む

404 Blog Not Found:クローラにしかとシカトしてもらう50の方法

2006/10/28 186 users 404 Blog Not Found 方法

[を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。 robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion ... 続きを読む