【インデックス未登録】解決方法10選。インデックスされない問題

2022/02/19 68 users 問題 検出 Google 原因 状態

【インデックスされない問題】 インデックス未登録の原因インデックスされない問題は サーチコンソール上で2つの状態があります。 検出-インデックス未登録 ページはGoogleにて検出済み。 クローラーが回ってきていない。クロール済み-インデックス未登録 クローラーが回ってきたが、 まだインデックスされていない検出-... 続きを読む

Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進 - GIGAZINE

2019/07/02 55 users robots.txt GIGAZINE Bing ボット 推進

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されてい... 続きを読む

Webスクレイピングをする時に便利なnode.jsライブラリ「article-parser」 | cupOF Interests

2018/01/06 58 users Webスクレイピング フィード Node.jsライブラリ

2017年 9月12日 01時20分 3ヶ月前 Webスクレイピングをする時に便利な node.js用ライブラリ「 article-parser 」の紹介です。 " Webスクレイピング "、簡単に言えば、Webサイトからコンテンツの情報を抜き出すことです。RSSなどのフィードとは違いページ全体を抜き取ります。あまり聞こえはよくありませんが、Webサイトを巡回する クローラー や ソーシャルブック... 続きを読む

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

2017/12/06 234 users サーバーレス Lambda Fargate クローラー運用

2017 - 12 - 07 AWS FargateとLambdaでサーバーレスなクローラー運用 scraping aws docker これは Webスクレイピング Advent Calendar 2017 の7日目の記事です。こんな感じで AWS Fargateと AWS Lambdaを使ってサーバーレス（EC2レス）な クローラー を作ります。 この記事はFargateでのクローリング処理に... 続きを読む

MozillaのスクレイピングフレームワークFathomを試してみる - たけぞう瀕死ブログ

2017/05/03 112 users Mozilla OSDN たけぞう瀕死ブログ スクレイピング

2017 - 05 - 03 MozillaのスクレイピングフレームワークFathomを試してみる JavaScript こちらのOSDNの記事で知ったのですが、 Mozilla でFathomという JavaScript 用の スクレイピング フレームワーク を開発しているようです。仕事で クローラー を作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.j... 続きを読む

数百サイトのクローラーを効率よく運用する仕組み - VASILY DEVELOPERS BLOG

2017/04/10 90 users iQON VASILY DEVELOPERS Blog 体験

2017 - 04 - 10 数百サイトのクローラーを効率よく運用する仕組み こんにちは！　バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを “わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。 そして... 続きを読む

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - VASILY DEVELOPERS BLOG

2017/03/17 95 users Marathon Docker Apache Mesos

2017 - 03 - 17 Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 Docker インフラ クローラー わーい！コンテナたのしー！ 続きを読む

非エンジニアでも何とか出来るクローラー／Webスクレイピング術 - プログラマでありたい

2016/12/04 51 users 書名 プログラマ Ruby Webスクレイピング 冒頭

2016 - 12 - 05 非エンジニアでも何とか出来るクローラー／Webスクレイピング術 遅くなりましたが、 クローラー／Webスクレイピング Advent Calendar 2016 の4日目です。先日、 データを集める技術 という本を出しました。冒頭の部分は、次のように始まっています。 2014年8月に「Rubyによるクローラー開発技法」という本を出版しました。書名の通りRubyというプロ... 続きを読む

scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング - amacbee's blog

2016/12/01 90 users スクレイピング レンダリング Webスクレイピング ケース

2016 - 12 - 01 scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング これは， クローラー／Webスクレイピング Advent Calendar 2016 の1日目の記事です． JavaScript を利用したページを スクレイピング するためには， スクリプト を実行し，ページを適切に レンダリング する必要があります． 本記事では，そのようなケース... 続きを読む

どのCSSプロパティが世の中のWebサイトでよく使われているのか？ マイクロソフトがクローラーから得た統計を「Global CSS Property Usage」として公開 － Publickey

2016/04/11 177 users Publickey プロパティ CSS CSSプロパティ 外観

どのCSSプロパティが世の中のWebサイトでよく使われているのか？ マイクロソフトがクローラーから得た統計を「Global CSS Property Usage」として公開 Webサイトをデザインする際、HTMLでテキストを構造化した上で外観を整えるためにCSSを利用します。 いまのCSSには多彩な表現力を備えたさまざまなプロパティがある一方、最新のCSSに未対応のブラウザに気を使いつつも新しいプ... 続きを読む

VASILYさんのクローラーとディープラーニングの話が聞きたくて『Fashion Tech meetup #2』に参加した - 雑なメモ

2016/03/26 137 users ディープラーニング 前々 エンジニア メモ 以下

Fashion Tech meetup #2 に参加してきました。 fashion-tech.connpass.com tech.vasily.jp in.fablic.co.jp はじめに VASILYさんの クローラー の話は面白くて前々から DEVELOPERS BLOG をよく読んでいます。 私自身、アド関係のエンジニアをしているので業務レイヤ的にも共通するところがあり、以下の様な記事・ス... 続きを読む

JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor

2015/12/09 71 users スクレイピング orangain flavor 本記事

2015-12-09 JavaScriptレンダリングサーバーSplashでスクレイピング scraping python これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページから... 続きを読む

PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita

2015/10/29 200 users Qiita Pipeline Python スク Scrapy

概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、... 続きを読む

初心者にも分かる！robots.txtの作り方

2015/09/18 289 users robots.txt クロール ディレクトリ 特定 Yahoo

robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.t... 続きを読む

クローラー／スクレイピング本がざくざく - プログラマになりたい

2015/08/30 319 users プログラマ ニーズ 収集 実践 市場

2015-08-30 クローラー／スクレイピング本がざくざく 2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日... 続きを読む

iQONを支えるクローラー/iQON Crawler // Speaker Deck

2015/06/17 85 users iQON Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

SEO検証！ GoogleはAngularJSを正しくクロールするのか？（2015年2月版） （1/4）：CodeZine

2015/03/23 137 users CodeZine AngularJS ネック Google

本連載はLINEのフロントエンドエンジニアのチームがWeb開発において注目・活用している技術を紹介します。今回は、GoogleのクローラーがどこまでJavaScriptを認識するのかをAngularJSを使い簡単に検証しましたので、お話させていただきます。 はじめに　AngularJSを使いシングルページアプリケーションを作成する上でネックとなっている問題があります。それは、検索エンジン対策です。... 続きを読む

SEO効果を最大化するための404エラーページのカスタマイズ方法

2015/03/11 149 users SEO効果 カスタマイズ方法 最大化 404エラーページ 役割

404エラーページはSEO内部対策の中でも重要なものの一つだ。 そして、サイトの利便性を高めユーザーに満足してもらうためにも、サイト内のクローラーの回遊性を大きく改善して、サイト全体のSEO効果を高めるためにも重要な役割を持つ。 そのため、あなたが完璧なSEO、そして最高の利便性を追い求めるなら404エラーページは欠かすことのできないものだ。 それにも関わらず、多くのSEO関係者、デザイナー、そし... 続きを読む

Capybara+PhantomJS+NokogiriでJavaScriptを利用している動的ページのスクレイピング - プログラマになりたい

2015/02/14 182 users スクレイピング プログラマ Capybara WebKit

2015-02-14 Capybara+PhantomJS+NokogiriでJavaScriptを利用している動的ページのスクレイピング クローラー スクレイピング CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザ... 続きを読む

Excel VBA+IEでのスクレイピング - プログラマになりたい

2014/12/28 415 users スクレイピング プログラマ Crawler VBA DOM操作

2014-12-28 Excel VBA+IEでのスクレイピング crawler 書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手... 続きを読む

人間にはわかるのに、なぜ機械にはそれがわからないのか。A.I.とスクレイピング - かれ4

2014/12/23 272 users カレ スクレイピング クローリング 機械 人工知能

2014-12-23 人間にはわかるのに、なぜ機械にはそれがわからないのか。A.I.とスクレイピング スクレイピング クローリング 機械学習 人工知能 この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。まずはこの画像を御覧ください。図1 各国のECサイトの画像Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名... 続きを読む

Lambdaで作るクローラー／スクレイピング - プログラマになりたい

2014/12/13 142 users Lambda invent スクレイピング プログラマ バッチ

2014-12-14 Lambdaで作るクローラー／スクレイピング aws crawler 話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。　re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって... 続きを読む

Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor

2014/12/07 468 users Python スクレイピング ライブラリ 以下 カテゴリ

2014-12-07 Pythonでクローリング・スクレイピングに使えるライブラリいろいろ python scraping これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する W... 続きを読む

JavaScriptやCSSもクロール対象に、Googleがウェブマスター向けガイド更新 -INTERNET Watch

2014/10/28 86 users CSS INTERNET Watch Google ファ 一部

ニュース JavaScriptやCSSもクロール対象に、Googleがウェブマスター向けガイド更新 （2014/10/28 16:04） Googleは28日、ウェブマスター向けガイドラインを一部更新した。新しいガイドラインでは、ページ内で使用しているJavaScriptやCSS、画像ファイルに、Googlebot（Googleのクローラー）がアクセスできるよう、robots.txtでこれらのファ... 続きを読む

クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマになりたい

2014/10/27 197 users スクレイピング プログラマ AWS 相性 2014-10-28

2014-10-28 クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 aws crawler 2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早め... 続きを読む