【悲報】ChatGPTが新車を1ドルで勝手に売ってくる事案が発生｜ﾊﾟﾄﾙ | AI x Biz

2023/12/25 376 users chatgpt バトル 事案 新車 シボレー

こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロ... 続きを読む

プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita

2023/04/14 143 users chatgpt Qiita プロンプト 悪意 チャットボット

ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないよう... 続きを読む

ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita

2023/03/08 309 users Qiita chatgpt gyakuse 逆瀬川 命令

こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃... 続きを読む