OpenAIが将来のAIモデルの改善に向けたウェブクローラー「GPTBot」を発表、同時にAIによる無断での学習を防ぐためのブロック方法も公開

2023/08/08 19 users GPTBot OpenAI プロンプト GPT-4 AIモデル

GPT-3.5やGPT-4などの大規模言語モデルは、インターネット上のさまざまなコンテンツを学習することで、ユーザーからの質問やプロンプトに応えています。OpenAIが2023年8月に技術ドキュメントなどを公開したウェブクローラー「GPTBot」は、アクセスが許可されているウェブサイトから自動で情報を取得し、GPT-4や将来的に... 続きを読む

アップル、ウェブクローラー「Applebot」の存在を認める - CNET Japan

2015/05/07 19 users Applebot robots.txt Spotlight

Appleがサポートページを更新し、ウェブクローラー「Applebot」が、音声制御アシスタント「Siri」や「Spotlight」検索候補などの製品に使われていることを明らかにした。 Appleによると、このウェブクローラーは検索エンジン用のエントリを作成するためにウェブサイトのページを巡回し、慣習的なrobots.txtの規則とrobots metaタグを尊重する。アクセス元は、17.0.0.... 続きを読む