タグ「クローラー」

タグクローラー

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 85件)

Google検索からキャッシュ消える　公式Xが理由を説明

2024/02/07 24 users キャッシュ公式X Google検索説明理由

Googleの検索結果に表示されたWebページについて、直接アクセスしなくても、その内容を確認できるキャッシュ機能が2月までに削除された。Google検索の公式Xが、ユーザーの疑問に答える形でその理由について説明している。キャッシュ検索は、Googleのクローラーが最後に保存したそのページの内容を確認できる機能。Googl... 続きを読む

Google、WebサイトのコンテンツをAIトレーニングからオプトアウトするツールを提供

2023/09/29 13 users AIトレーニングツール Google コンテンツ提供

Googleは、Webパブリッシャー向けに、BardやVertex AIなどのGoogleのAIのトレーニングにコンテンツを使わせないようにするツール「Google-Extended」を発表した。クローラーによるインデックスはさせつつコンテンツ利用を回避できる。米Googleは9月28日（現地時間）、Webサイトのオーナー（以下、「Webパブリッシャー」... 続きを読む

The New York Timesや日経新聞など、ペイウォールを設置する複数のメディアが、生成AIのトレーニング用にコンテンツを収集するクローラーをブロックし始めている。米The New York Timesや日経新聞など、記事を読むためにサブスクリプションが必要な、ペイウォールを設置しているメディアサイトが、米OpenAIのWebクロー... 続きを読む

Googleの自動インデックスが機能していないという指摘

2023/06/06 26 users 指摘 Google おかげウェブサイトウェブサイト間

Googleの検索エンジンは、ウェブサイト間のリンクをたどる「クローラー」を用いて、新たなウェブサイトやページを自動的に検出しスキャンしています。このおかげで、新たなウェブサイトを作ったときやブログに新しい記事を書いたとき、わざわざそのことを通知しなくても、時間が経過すればGoogleの検索結果に引っかかる... 続きを読む

【インデックス未登録】解決方法10選。インデックスされない問題

2022/02/19 68 users 問題検出 Google 原因状態

【インデックスされない問題】インデックス未登録の原因インデックスされない問題はサーチコンソール上で2つの状態があります。検出-インデックス未登録ページはGoogleにて検出済み。クローラーが回ってきていない。クロール済み-インデックス未登録クローラーが回ってきたが、まだインデックスされていない検出-... 続きを読む

Googleのクロールバジェットとは？ | 3分ニュース: にゃんぷん

2020/04/05 21 users クロールバジェット Crawler Crawl Budget

Googleのクロールバジェットとは？まずは用語の確認から。クロール(crawl)とは、Googleなどの検索エンジンが世界中のサイトを巡回・訪問すること。クローラー（crawler）とは、Googlebotなどのようにクロールをする検索エンジンのAIのこと。バジェット(budget）とは、予算のこと。クロールバジェットとは、Googleが... 続きを読む

ウェブを定期的にクロールしてブロックすべきトラッカーのリストを作るDuckDuckGo | TechCrunch Japan

2020/03/06 5 users DuckDuckGo ドラッカーコンスタントお決まり犯人

大量の無用な広告を避けたりブロックしてやっと目的の情報に到達することは、今や毎日のお決まりの仕事のようだ。現在のほとんどすべてのウェブサイトを悩ませているこの迷惑行為を軽減するため、DuckDuckGoは主な犯人のリストを作り、それを自社のクローラーでコンスタントに更新している。もちろん無料で。このTracke... 続きを読む

『Rails』 sitemap.xmlの作成&Google search consoleへ自動送信 | PGMG

2019/09/14 19 users sitemap Rails PGMG sitemap.xml

sitemap.xmlを作ることで、クローラーにサイトをしっかりと正しくクロールしてもらうために必要なものですね。このsitemapを作る前にGoogle search consoleにまずは登録しましょう。上のリンクから飛んで、今すぐ登録をクリックから登録してください。ここでは登録の仕方は省きます。 Google search consoleの登録方... 続きを読む

Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進 - GIGAZINE

2019/07/02 55 users robots.txt GIGAZINE Bing ボット推進

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されてい... 続きを読む

Googleしごと検索の構造化データをコピペで実装できるツールを作ってみました - ウェブ企画ラボ

2019/03/11 33 users コピペウェブ企画ラボツール Googleしごと検索

https://webkikaku.co.jp/blog/recruit/google-job-posting-tool/ Googleしごと検索は募集要項を公開するだけでは掲載されません。ページ内に記載された構造化データをクローラーに読み込んでもらうことで、はじめて掲載することができます。エンジニアとっては、さほどハードルの高い実装ではないのですが、そうでない... 続きを読む

【グーグル公式】AMPのインデックスについてぜひ知っておきたい10個のFAQ【SEO記事12本まとめ】 | 海外&国内SEO情報ウォッチ | Web担当者Forum

2018/12/13 45 users AMP インデックス FAQ SERP グーグル公式

グーグルの社員がAMPに関する「インデックスにかかる時間は？」「検索順位に与える影響は？」「一部のページしかSERPに出ない」「link要素はどう指定する？」といったよくある質問に答えている。どんどん重要度を増しているAMPページをグーグルのクローラーがどう処理しているか、あなたはちゃんと理解できているだろう... 続きを読む

Webスクレイピングをする時に便利なnode.jsライブラリ「article-parser」 | cupOF Interests

2018/01/06 58 users Webスクレイピングフィード Node.jsライブラリ

2017年 9月12日 01時20分 3ヶ月前 Webスクレイピングをする時に便利な node.js用ライブラリ「 article-parser 」の紹介です。 " Webスクレイピング "、簡単に言えば、Webサイトからコンテンツの情報を抜き出すことです。RSSなどのフィードとは違いページ全体を抜き取ります。あまり聞こえはよくありませんが、Webサイトを巡回するクローラーやソーシャルブック... 続きを読む

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

2017/12/06 234 users サーバーレス Lambda Fargate クローラー運用

2017 - 12 - 07 AWS FargateとLambdaでサーバーレスなクローラー運用 scraping aws docker これは Webスクレイピング Advent Calendar 2017 の7日目の記事です。こんな感じで AWS Fargateと AWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。この記事はFargateでのクローリング処理に... 続きを読む

SEO対策に効果的な文章!３つのルールを守れば検索上位にできる | テクワク

2017/10/18 24 users テクワククロール SEO対策晩酌ルール

1987年2月生まれ。雑記ブログを2017年5月から始めました。たまに真面目な記事も書いています。栃木生まれ大阪育ちで関西弁が上手く喋れないのが悩み。趣味：映画、晩酌、ブログ、寝る家族構成：妻と二人どうも！イクミヤです！サイト運営をする方にとって重要な文章は検索上位にする上で１番と言っても過言ではありません。 GoogleのクローラーがWeb情報を収集することを「クロール」と言います。クロ... 続きを読む

Go で並列数をうまいところ制御しながら並列に動くクローラー - Diary

2017/09/30 24 users 並列 http diary title github.io

Go で並列数をうまいところ制御しながら並列に動くクローラーというもののサンプル。並列に HTTP アクセスしてきてパースして title 要素を表示するというものです。 title 要素をパースしてくるのに使っているパッケージは[こちら](https://siongui.github.io/2016/05/10/go-get-html-title-via-net-html/)です。今回は ... 続きを読む

あなたのWebサイトは大丈夫？ schema.orgで構造化データをマークアップしよう | プロモニスタ

2017/06/02 28 users プロモニスタ Schema.org 策定 Microsoft

schema.orgとは、Google、Yahoo、Microsoftの3社で策定を進めていた構造化マークアップ（形式言語）規格です。schema.orgの仕様通りにHTMLにマークアップすることで、通常のHTMLマークアップでは伝えきれない、より詳しい正確な情報を検索エンジンのクローラーが認識できるようになります。schema.orgとは、Google、Yahoo、Microsoftの3社で策定... 続きを読む

実験結果の報告：パンくずリストとフィードの送信でクローラーの巡回頻度上がるのか？

2017/05/16 22 users Atom Google Search Console 設置

以前行っていた実験結果の報告をします。実験内容：｢パンくずリスト｣の設置と｢フィード｣の送信で｢Googleクローラー｣の巡回頻度は上がるのか？詳しくは以下の記事を参照して下さい。｢パンくずリスト｣をブログに設置したら｢Googleクローラー｣の巡回頻度が上がるか実験します！｢Google search console｣でフィード（RSS/Atom）は送信してますか？重要みたい！では結果... 続きを読む

Apache Mesos / Marathon を本番で運用するための5つのTips - VASILY DEVELOPERS BLOG

2017/05/12 17 users Marathon Tips コンテナ Dockerコンテナ化

2017 - 05 - 12 Apache Mesos / Marathon を本番で運用するための5つのTips こんにちは。インフラエンジニアの光野です。先日のブログ記事でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。先日の記事はクローラーシステム全体を取り扱いましたが、本記... 続きを読む

MozillaのスクレイピングフレームワークFathomを試してみる - たけぞう瀕死ブログ

2017/05/03 112 users Mozilla OSDN たけぞう瀕死ブログスクレイピング

2017 - 05 - 03 MozillaのスクレイピングフレームワークFathomを試してみる JavaScript こちらのOSDNの記事で知ったのですが、 Mozilla でFathomという JavaScript 用のスクレイピングフレームワークを開発しているようです。仕事でクローラーを作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.j... 続きを読む

Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み - VASILY DEVELOPERS BLOG

2017/04/25 25 users VASILY DEVELOPERS Railsアプリ茨木

2017 - 04 - 25 Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み Web こんにちは、フロントエンジニアの茨木です。本記事ではRailsアプリでクロールディレクティブを安全・効率的に設定する仕組みをご紹介したいと思います。 Web上にあるページは、クローラーと呼ばれるロボットに巡回されて検索エンジンにインデックス登録されます。大規模なサイトにおいてはページを効... 続きを読む

数百サイトのクローラーを効率よく運用する仕組み - VASILY DEVELOPERS BLOG

2017/04/10 90 users iQON VASILY DEVELOPERS Blog 体験

2017 - 04 - 10 数百サイトのクローラーを効率よく運用する仕組みこんにちは！　バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを “わたしの「好き」がここにある” に刷新しました。この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。そして... 続きを読む

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - VASILY DEVELOPERS BLOG

2017/03/17 95 users Marathon Docker Apache Mesos

2017 - 03 - 17 Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 Docker インフラクローラーわーい！コンテナたのしー！続きを読む

【ディープラーニング】Googleに僕がロボットじゃないと証明したい - にちプチ【Nichi-Petit】

2016/12/23 9 users Nichi-Petit Search Console 考察

2016 - 12 - 23 【ディープラーニング】Googleに僕がロボットじゃないと証明したいニュースプチ情報体験談考察シェアする Twitter Google+ Pocket 「私はロボットではありません」 Googleに関連するサービスを使っていると、どこかしらでこんな言葉を目にしたことがあると思います。特にブロガーはGoogleのsearch consoleでクローラーに「... 続きを読む

(1 - 25 / 85件)

次の25件 »