AIへの「ビジュアルプロンプトインジェクション」攻撃とは何か？

2024/11/14 17 users LLM 攻撃 チャットボットAI エンジニア セキュリティ

大規模言語モデル(LLM)のセキュリティを研究するスタートアップ・Lakeraのエンジニアであるダニエル・ティンブレル氏が、画像認識も可能なチャットボットAIに対する「ビジュアルプロンプトインジェクション」攻撃について解説しています。 The Beginner's Guide to Visual Prompt Injections: Invisibility Cloaks, Cann... 続きを読む

【悲報】ChatGPTが新車を1ドルで勝手に売ってくる事案が発生｜ﾊﾟﾄﾙ | AI x Biz

2023/12/25 376 users chatgpt バトル 事案 新車 悲報

こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロ... 続きを読む

ChatGPTにパスワード認証機能を付けて破ってみた　簡易的に学ぶ「プロンプトインジェクション」

2023/08/10 7 users chatgpt AIチャットサービス 示唆 ひっかけ問題 答え

AIチャットサービス「ChatGPT」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 どんな質問にも“それらしい答え”を返してくれるAIチャットサービス「ChatGPT」。3月には... 続きを読む

「自社製品にチャットAIを組み込みたい」　企業が取るべきセキュリティ対策とは？　“プロンプトインジェクション”の基本手口

2023/08/10 7 users NRIセキュアテクノロジーズ chatgpt チャットAI

ChatGPTの登場からしばらくたち、チャットAIをサービスに組み込んで提供する企業が増えてきた。一方で、チャットAIを狙うサイバー攻撃手法も考えられている。NRIセキュアテクノロジーズは8月9日に開催したメディア向け発表会で、「プロンプトインジェクション」の手口について解説した。 ChatGPTをはじめとするチャットA... 続きを読む

プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita

2023/04/14 143 users Qiita chatgpt プロンプト 悪意 チャットボット

ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないよう... 続きを読む

プロンプトインジェクションについて

2023/03/09 6 users

以下記事を見て検証。 そもそも、chatのAPIはroleがsystemとuserがわかれてるぐらいなので、インジェクション防げるのかと思ってたのですが試すとそうでもないんだ・・・ということで、検証用GPTを別にもう1個用意したら良いのかなと思って試しました。 仕組み ChatGPT1：特定のロールが与えられたチャットボット ChatGP... 続きを読む

ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita

2023/03/08 309 users Qiita chatgpt gyakuse 逆瀬川 命令

こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃... 続きを読む

BingチャットAI、ハッカーの口車で秘密の禁止事項や本名・マイクロソフトからの指示をペラペラ喋ってしまう | テクノエッジ TechnoEdge

2023/02/16 23 users しと TechnoEdge 口車 愛称 バック

マイクロソフトがBing検索に組み込んだ会話AIが、巧みな指示で想定外の回答を引き出す「プロンプトインジェクション」ハックによって、本来はユーザーに開示してはいけないマイクロソフトからの指示や自分の「本名」を明かしてしまうできごとがありました。 AIがうっかり喋らされてしまった内容は、内部的な愛称は「シド... 続きを読む