OpenAIがインターネット上のコンテンツ収集に用いるウェブクローラー「GPTBot」をブロックする試みが進行中

2023/08/14 5 users OpenAI chatgpt GPTBot ウェブ 対話型AI

対話型AIのChatGPTを開発するOpenAIは2023年8月に、大規模言語モデルの学習に必要なデータセットをインターネット上から収集するためのウェブクローラー「GPTBot」に関する詳細を公開しました。GPTBotに関するオンラインドキュメントには、GPTBotによるコンテンツの収集を防ぐための方法も記載されており、一部のウェブ... 続きを読む

OpenAIが将来のAIモデルの改善に向けたウェブクローラー「GPTBot」を発表、同時にAIによる無断での学習を防ぐためのブロック方法も公開

2023/08/08 19 users GPTBot OpenAI プロンプト GPT-4 AIモデル

GPT-3.5やGPT-4などの大規模言語モデルは、インターネット上のさまざまなコンテンツを学習することで、ユーザーからの質問やプロンプトに応えています。OpenAIが2023年8月に技術ドキュメントなどを公開したウェブクローラー「GPTBot」は、アクセスが許可されているウェブサイトから自動で情報を取得し、GPT-4や将来的に... 続きを読む

アップル、ウェブクローラー「Applebot」の存在を認める - CNET Japan

2015/05/07 19 users Applebot robots.txt Spotlight

Appleがサポートページを更新し、ウェブクローラー「Applebot」が、音声制御アシスタント「Siri」や「Spotlight」検索候補などの製品に使われていることを明らかにした。 Appleによると、このウェブクローラーは検索エンジン用のエントリを作成するためにウェブサイトのページを巡回し、慣習的なrobots.txtの規則とrobots metaタグを尊重する。アクセス元は、17.0.0.... 続きを読む