BlueskyはAIボットによるデータ収集を許可している件

2024/11/16 24 users Bluesky robots.txt baidu AIボット

Blueskyにアップロードしたデータは、GoogleやOpenAIやBaiduや様々な会社のAI学習に利用されている可能性が高いよって話。 前提検索エンジンやAIのクローラー、ボットによるデータの収集や学習を拒否する方法としてrobots.txtを使うのが一般的で、AI学習データ収集ロボットもそれに従っています。 AI開発会社はそれぞれb... 続きを読む

ゆる優しいSNS「タイッツー」がAndroid版アプリをリリース！ 3位にランクイン／生成AI学習のクローラーを全拒否しているSNSがついにスマホでも楽しめるように【やじうまの杜】

2024/10/18 18 users やじうま タイッツー リリース ランクイン SNS

続きを読む

「PerplexityのAIがクローラーをブロックするrobots.txtを無視している」との指摘に対しCEOが「無視しているわけではないがサードパーティーのクローラーに依存している」と主張

2024/06/24 13 users robots.txt Perplexity ボット 巡回 主張

生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘されています。これに対し、Perplexityのアラヴィンド・スリ... 続きを読む

生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している

2024/06/17 18 users プロンプト pages robots.txt ボット 生成AI

Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.t... 続きを読む

Google検索からキャッシュ消える　公式Xが理由を説明

2024/02/07 24 users キャッシュ 公式X Google検索 説明 理由

Googleの検索結果に表示されたWebページについて、直接アクセスしなくても、その内容を確認できるキャッシュ機能が2月までに削除された。Google検索の公式Xが、ユーザーの疑問に答える形でその理由について説明している。 キャッシュ検索は、Googleのクローラーが最後に保存したそのページの内容を確認できる機能。Googl... 続きを読む

Google、WebサイトのコンテンツをAIトレーニングからオプトアウトするツールを提供

2023/09/29 13 users AIトレーニング ツール Google コンテンツ 提供

Googleは、Webパブリッシャー向けに、BardやVertex AIなどのGoogleのAIのトレーニングにコンテンツを使わせないようにするツール「Google-Extended」を発表した。クローラーによるインデックスはさせつつコンテンツ利用を回避できる。 米Googleは9月28日（現地時間）、Webサイトのオーナー（以下、「Webパブリッシャー」... 続きを読む

OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始

2023/08/25 15 users OpenAI サブスクリプション 米OpenAI 生成AI

The New York Timesや日経新聞など、ペイウォールを設置する複数のメディアが、生成AIのトレーニング用にコンテンツを収集するクローラーをブロックし始めている。 米The New York Timesや日経新聞など、記事を読むためにサブスクリプションが必要な、ペイウォールを設置しているメディアサイトが、米OpenAIのWebクロー... 続きを読む

Googleの自動インデックスが機能していないという指摘

2023/06/06 26 users 指摘 Google おかげ ウェブサイト ウェブサイト間

Googleの検索エンジンは、ウェブサイト間のリンクをたどる「クローラー」を用いて、新たなウェブサイトやページを自動的に検出しスキャンしています。このおかげで、新たなウェブサイトを作ったときやブログに新しい記事を書いたとき、わざわざそのことを通知しなくても、時間が経過すればGoogleの検索結果に引っかかる... 続きを読む

【インデックス未登録】解決方法10選。インデックスされない問題

2022/02/19 68 users 問題 検出 Google 原因 状態

【インデックスされない問題】 インデックス未登録の原因インデックスされない問題は サーチコンソール上で2つの状態があります。 検出-インデックス未登録 ページはGoogleにて検出済み。 クローラーが回ってきていない。クロール済み-インデックス未登録 クローラーが回ってきたが、 まだインデックスされていない検出-... 続きを読む

Googleのクロールバジェットとは？ | 3分ニュース: にゃんぷん

2020/04/05 21 users クロールバジェット Crawler Crawl Budget

Googleのクロールバジェットとは？ まずは用語の確認から。 クロール(crawl)とは、Googleなどの検索エンジンが世界中のサイトを巡回・訪問すること。 クローラー（crawler）とは、Googlebotなどのようにクロールをする検索エンジンのAIのこと。 バジェット(budget）とは、予算のこと。 クロールバジェットとは、Googleが... 続きを読む

『Rails』 sitemap.xmlの作成&Google search consoleへ自動送信 | PGMG

2019/09/14 19 users sitemap Rails PGMG sitemap.xml

sitemap.xmlを作ることで、クローラーにサイトをしっかりと正しくクロールしてもらうために必要なものですね。 このsitemapを作る前にGoogle search consoleにまずは登録しましょう。 上のリンクから飛んで、今すぐ登録をクリックから登録してください。 ここでは登録の仕方は省きます。 Google search consoleの登録方... 続きを読む

Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進 - GIGAZINE

2019/07/02 55 users robots.txt GIGAZINE Bing ボット 推進

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されてい... 続きを読む

Googleしごと検索の構造化データをコピペで実装できるツールを作ってみました - ウェブ企画ラボ

2019/03/11 33 users コピペ ウェブ企画ラボ ツール Googleしごと検索

https://webkikaku.co.jp/blog/recruit/google-job-posting-tool/ Googleしごと検索は募集要項を公開するだけでは掲載されません。ページ内に記載された構造化データをクローラーに読み込んでもらうことで、はじめて掲載することができます。 エンジニアとっては、さほどハードルの高い実装ではないのですが、そうでない... 続きを読む

【グーグル公式】AMPのインデックスについてぜひ知っておきたい10個のFAQ【SEO記事12本まとめ】 | 海外&国内SEO情報ウォッチ | Web担当者Forum

2018/12/13 45 users AMP インデックス FAQ SERP グーグル公式

グーグルの社員がAMPに関する「インデックスにかかる時間は？」「検索順位に与える影響は？」「一部のページしかSERPに出ない」「link要素はどう指定する？」といったよくある質問に答えている。どんどん重要度を増しているAMPページをグーグルのクローラーがどう処理しているか、あなたはちゃんと理解できているだろう... 続きを読む

Webスクレイピングをする時に便利なnode.jsライブラリ「article-parser」 | cupOF Interests

2018/01/06 58 users Webスクレイピング フィード Node.jsライブラリ

2017年 9月12日 01時20分 3ヶ月前 Webスクレイピングをする時に便利な node.js用ライブラリ「 article-parser 」の紹介です。 " Webスクレイピング "、簡単に言えば、Webサイトからコンテンツの情報を抜き出すことです。RSSなどのフィードとは違いページ全体を抜き取ります。あまり聞こえはよくありませんが、Webサイトを巡回する クローラー や ソーシャルブック... 続きを読む

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

2017/12/06 234 users サーバーレス Lambda Fargate クローラー運用

2017 - 12 - 07 AWS FargateとLambdaでサーバーレスなクローラー運用 scraping aws docker これは Webスクレイピング Advent Calendar 2017 の7日目の記事です。こんな感じで AWS Fargateと AWS Lambdaを使ってサーバーレス（EC2レス）な クローラー を作ります。 この記事はFargateでのクローリング処理に... 続きを読む

SEO対策に効果的な文章!３つのルールを守れば検索上位にできる | テクワク

2017/10/18 24 users テクワク クロール SEO対策 晩酌 ルール

1987年2月生まれ。雑記ブログを2017年5月から始めました。たまに真面目な記事も書いています。栃木生まれ大阪育ちで関西弁が上手く喋れないのが悩み。 趣味：映画、晩酌、ブログ、寝る 家族構成：妻と二人 どうも！イクミヤです！ サイト運営をする方にとって重要な文章は検索上位にする上で１番と言っても過言ではありません。 GoogleのクローラーがWeb情報を収集することを「クロール」と言います。クロ... 続きを読む

Go で並列数をうまいところ制御しながら並列に動くクローラー - Diary

2017/09/30 24 users 並列 http diary title github.io

Go で並列数をうまいところ制御しながら並列に動くクローラー というもののサンプル。 並列に HTTP アクセスしてきてパースして title 要素を表示するというものです。 title 要素をパースしてくるのに使っているパッケージは[こちら](https://siongui.github.io/2016/05/10/go-get-html-title-via-net-html/)です。 今回は ... 続きを読む

あなたのWebサイトは大丈夫？ schema.orgで構造化データをマークアップしよう | プロモニスタ

2017/06/02 28 users プロモニスタ Schema.org 策定 Microsoft

schema.orgとは、Google、Yahoo、Microsoftの3社で策定を進めていた構造化マークアップ（形式言語）規格です。schema.orgの仕様通りにHTMLにマークアップすることで、通常のHTMLマークアップでは伝えきれない、より詳しい正確な情報を検索エンジンのクローラーが認識できるようになります。schema.orgとは、Google、Yahoo、Microsoftの3社で策定... 続きを読む

実験結果の報告：パンくずリストとフィードの送信でクローラーの巡回頻度上がるのか？

2017/05/16 22 users Atom Google Search Console 設置

以前行っていた実験結果の報告をします。 実験内容：｢パンくずリスト｣の設置と｢フィード｣の送信で｢Googleクローラー｣の巡回頻度は上がるのか？ 詳しくは以下の記事を参照して下さい。 ｢パンくずリスト｣をブログに設置したら｢Googleクローラー｣の巡回頻度が上がるか実験します！ ｢Google search console｣でフィード（RSS/Atom）は送信してますか？重要みたい！ では結果... 続きを読む

Apache Mesos / Marathon を本番で運用するための5つのTips - VASILY DEVELOPERS BLOG

2017/05/12 17 users Marathon Tips コンテナ Dockerコンテナ化

2017 - 05 - 12 Apache Mesos / Marathon を本番で運用するための5つのTips こんにちは。 インフラエンジニアの光野です。 先日の ブログ記事 でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。 先日の記事はクローラーシステム全体を取り扱いましたが、本記... 続きを読む

MozillaのスクレイピングフレームワークFathomを試してみる - たけぞう瀕死ブログ

2017/05/03 112 users Mozilla OSDN たけぞう瀕死ブログ スクレイピング

2017 - 05 - 03 MozillaのスクレイピングフレームワークFathomを試してみる JavaScript こちらのOSDNの記事で知ったのですが、 Mozilla でFathomという JavaScript 用の スクレイピング フレームワーク を開発しているようです。仕事で クローラー を作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.j... 続きを読む

Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み - VASILY DEVELOPERS BLOG

2017/04/25 25 users VASILY DEVELOPERS Railsアプリ 茨木

2017 - 04 - 25 Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み Web こんにちは、フロントエンジニアの茨木です。 本記事ではRailsアプリでクロールディレクティブを安全・効率的に設定する仕組みをご紹介したいと思います。 Web上にあるページは、クローラーと呼ばれるロボットに巡回されて検索エンジンにインデックス登録されます。大規模なサイトにおいてはページを効... 続きを読む

数百サイトのクローラーを効率よく運用する仕組み - VASILY DEVELOPERS BLOG

2017/04/10 90 users iQON VASILY DEVELOPERS Blog 体験

2017 - 04 - 10 数百サイトのクローラーを効率よく運用する仕組み こんにちは！　バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを “わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。 そして... 続きを読む

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - VASILY DEVELOPERS BLOG

2017/03/17 95 users Marathon Docker Apache Mesos

2017 - 03 - 17 Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 Docker インフラ クローラー わーい！コンテナたのしー！ 続きを読む