「RAG」とは何か？　なぜ“LLMの限界”を突破できるのか

2024/10/08 10 users LLM Rag 人工知能 課題克服 限界

関連キーワード 人工知能 大規模言語モデル（LLM）を活用する上で大きな課題となるのが、ハルシネーション（事実に基づかない回答を出力すること）のリスクだ。こうしたLLMの課題克服に役立つ技術として「RAG」（検索拡張生成）が注目されている。RAGはLLMの回答精度向上にどう役立つのか。その仕組みを解説する。 なぜ... 続きを読む

OpenAIのGPTシリーズ・MetaのLlama・BigScienceのBLOOMのような新しくて大きなバージョンの大規模言語モデルを使ったAIは無知を認めるよりも間違った答えを与える傾向が強い

2024/09/29 9 users Meta Bloom Llama OpenAI 幻覚

近年急速な発展を遂げる生成AIは、複雑な計算や文書の要約などをわずか数秒で遂行してくれます。一方で生成AIには「幻覚(ハルシネーション)」と呼ばれる、虚偽または誤解を招く情報を事実として提示してしまうという問題が存在しています。バレンシア人工知能研究所の研究チームがOpenAIのGPTシリーズや、MetaのLLaMAな... 続きを読む

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜 - Qiita

2024/09/19 7 users rig Rag Qiita ＩＳ 論文

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜RigragDataGemma DataGemma がリリースされました。外部情報を使ってハルシネーションを抑止する手法として RAG が有名ですが、Datagemma では RAG だけではなく RIG という手法も提案・利用していました。 RIG というのがよくわから... 続きを読む

生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoE

2024/09/16 169 users seamless シームレス 生成AIウィークリー 生成AI

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大... 続きを読む

生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ）（テクノエッジ） - Ya

2024/09/17 11 users テクノエッジ 生成AIクローズアップ 生成AI 論文 排除

続きを読む

中国製AIはハルシネーションレートですでに世界一

2024/09/14 9 users LLM GitHub 幻覚 指標 精度

AIがあたかも本当のように事実と異なることを言ってしまうハルシネーション（幻覚）。どのくらい幻覚を見るかを示すハルシネーションレートは、各社がしのぎを削る大規模言語モデル（LLM）の精度の高さを証明する1つの指標となっている。 さて、各LLMのハルシネーションレートを比較すべくAI企業Vectaraが開発したGitHub... 続きを読む

Google、AIの“幻覚”に対処する「DataGemma」をオープンモデルでリリース

2024/09/15 18 users 幻覚 LLM GEMINI Gemma リリース

米Googleは9月13日（現地時間）、LLMが不正確な回答を出してしまういわゆる幻覚（ハルシネーション）を軽減するためのAIモデル「DataGemma」を発表した。オープンモデルとしてHugging Faceで公開した。 Gemmaは、Googleが今年2月にオープンモデルとして発表した「Gemini」の軽量版LLM。DataGemmaは、このGemmaのオープン... 続きを読む

解説：生成AIのハルシネーションはなぜ起きるのか

2024/06/24 11 users LLM 生成AI 幻覚 チャットボット 解説

大規模言語モデルが「ハルシネーション（幻覚）」を生成することはよく知られている。ただ、その仕組みから明らかのように、LLMの出力は本質的にはすべてハルシネーションであり、間違いが発覚したものがそう呼ばれているだけだ。 by Will Douglas Heaven2024.06.24 4 この記事の3つのポイント チャットボットは間違った... 続きを読む

LLMエージェントの設計16パターン | AIDB

2024/05/29 16 users AIDB LLMエージェント 推論 道筋 エージェント

LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定す... 続きを読む

ChatGPTを使う時に嘘の回答（ハルシネーション）を回避するために「わからないことは知らないと答えて」とプロンプトに入れると回答精度が上がる？

2024/05/28 27 users chatgpt プロンプト 回答精度 回答

じこったねこばす @funniest_catbus ヤメガバンカー ||自意識が膨張して破裂寸前 ||過去作品は下記noteからどうぞ ||お仕事の依頼はDMまで ||質問箱: querie.me/user/funniest_… ||アイコン画像はKZOさん作 @__KZO__ ||かけだしクラブDJ||ラジオパーソナリティになりたい|| note.com/jikoneko/ リンク www.nri.com ハル... 続きを読む

ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ

2024/05/23 6 users LLM 定量 未知 事後学習 考察

概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難し... 続きを読む

1000億パラメータのLLM、AIスタートアップが公開　フルスクラッチで開発　「ハルシネーションを大幅抑止」

2024/05/16 9 users LLM フルスクラッチ ウソ 現象 言語モデル

AIスタートアップ企業のストックマーク（東京都港区）は5月16日、1000億パラメータ規模の大規模言語モデル（LLM）を開発したと発表した。「Stockmark-LLM-100b」と名付けられたこのLMは、同社がフルスクラッチで開発したものでハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴という。 ... 続きを読む

AIのハルシネーションを叩く奴は馬鹿。一生人工無能と会話してろ。

2024/03/24 30 users 別人 ゴミクズ マジ 発言 性能

長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。 「ハルシネーションを叩くな」終わり。 ①各種LLMの性能比較GPT系の今の性能はゴミクズ。マジで頭悪い。 例をあげよう。 簡単な論理クイズだ。 ###文章### Aさんは自身はCさんとは別人であると主張している。 Bさんは、Cさんの発言を記事でまとめ、プ... 続きを読む

ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物

2024/03/04 14 users ファインチューニング 根絶 禁物 生成AI 人工知能

生成AI（人工知能）を業務活用する際に、ユーザー企業がつまずきがちなポイントを指摘する本特集。第2回は「ハルシネーションをなくすのは難しい」「生成AIを業務自動化に活用するのは難しい」「ファインチューニングは難しすぎる」の3つを取り上げよう。 その4： ハルシネーションをなくすのは難しい 生成AIが抱える課... 続きを読む

ChatGPTが同時多発的に奇妙なことを言い始めて「ChatGPTが発狂した」「発作を起こした」という報告が相次ぎOpenAIが慌てて修正

2024/02/22 25 users OpenAI chatgpt 幻覚 発作 返答

OpenAIが開発したChatGPTは非常に高い精度で人間とチャットをすることができますが、時には「ハルシネーション(幻覚)」と呼ばれる見当違いな回答をする場合もあります。2024年2月20日頃、ChatGPTが突如として多くのユーザーに奇妙な返答をするようになり、「ChatGPTが発狂した」「発作を起こした」といった報告が相次ぐ... 続きを読む

ChatGPT APIで肥大化したプロンプトによるハルシネーションへの対策 - Qiita

2024/01/29 6 users Qiita プロンプト 要件 アプリケーション 精度

概要 ChatGPT APIを活用したアプリケーションでは、要件が複雑化することで、システムプロンプトが肥大化していくことがあります。 しかしプロンプトが肥大化すると、ハルシネーションの起きる可能性が上がり、思ったような精度が出なくなってくることがあります。 以下を意識してプロンプトを改善させることで、精度向... 続きを読む

Google DeepMind、LLM採用AIシステム「FunSearch」で数学的難問を解決

2023/12/15 14 users 難問 LLM Google DeepMind LLM採用 幻覚

Google DeepMindは、LLM採用のAIシステム「FunSearch」を発表した。LLMとLLMによる幻覚を防止する“評価器”を組み合わせたもので、「ビンパッキング問題」向けの実用的なアルゴリズムも出力できる。 米Google傘下のGoogle DeepMindは12月14日（現地時間）、LLM（大規模言語モデル）とLLMによる幻覚（ハルシネーション）を... 続きを読む

AmazonのAI「Amazon Q」は重度の幻覚によってAWSデータセンターの場所などの機密データを漏えいしているとの指摘

2023/12/04 13 users 幻覚 重度 Has AIチャットサービス 機密データ

2023年11月29日に発表されたばかりのAIチャットサービス「Amazon Q」にプライバシーの問題がある可能性が報じられました。一部の従業員によるとAmazon Qはひどい幻覚(ハルシネーション)に襲われることがあり、Amazon Web Services(AWS)のデータセンターの場所などを漏らすことがあるそうです。 Amazon’s Q has ‘severe h... 続きを読む

【Claude 2.1】ChatGPTの代替ツールとなるか？Claude 2の最新モデルを使ってみた | WEEL

2023/11/24 9 users chatgpt WEEL 未然 代替ツール Claude 2

WEELメディア事業部AIライターの2scとLLMリサーチャーのゆうやです。 2023年11月21日、以前からChatGPT超えを噂されていたClaude 2の新モデルが登場しました！名前も「Claude 2.1」と改め、なんと書籍500ページ分以上の文章が処理できるように進化しています。 さらにハルシネーションを未然に検閲する機能も強化！『200... 続きを読む

ChatGPTが既成事実化するウソ　深刻化するネットの情報汚染

2023/10/11 7 users chatgpt 妄言 チャットGPT 真偽 生成AI

対話型人工知能（AI）「ChatGPT（チャットGPT）」などの生成AIが、ネット上の情報を汚染している。ネット上にはAIが作り出したもっともらしい「ハルシネーション（妄言）」とみられる真偽不明の情報があふれ始めた。生成AIによるウソの中には半ば既成事実と化し、上場企業のウェブサイト上やメディア報道にも用いられる... 続きを読む

AIがハルシネーション（Hallucination）を起こす最大の理由 - Qiita

2023/07/10 23 users Qiita 幻覚 文脈 知覚 ウソ

ハルシネーション（Hallucination）とは？ もっともらしいウソ（＝事実とは異なる内容や、文脈と無関係な内容）の出力が生成されることである。人間が現実の知覚ではなく脳内の想像で「幻覚」を見る現象と同様に、まるでAIが「幻覚」を見て出力しているみたいなので、このように呼ばれる。 なぜハルシネーションを起こす... 続きを読む

「GPT-3.5」vs「GPT-4」--「ChatGPT Plus」は月額20ドルの価値があるか？

2023/06/21 8 users GPT-4 ChatGPT Plus GPT-3.5 価値

自らの疑問に対する正確な回答をテキストで返してほしいという場合、この有償サービスは最初の大衆向けバージョンである「GPT-3.5」よりもずっと優れていると筆者は実感している。 誤解しないでもらいたい。GPT-4であっても依然として誤り、つまり「ハルシネーション」（もっともらしいウソ）を生成し得る。しかし、難し... 続きを読む

Chat-GPTを使っていたら「視覴」という見慣れない言葉を吐き出したのだがAIが生み出した存在しない単語なのでは…？

2023/06/08 40 users Chat-GPT Chat GPT 単語 文章 言葉

フガクラ @fugakura 怖ぇー、chat gpt使ってたら「視覴」という見慣れない言葉を吐き出したので検索したところ、ヒットするサイトがほとんど直近日付のAI出力された文章だった これっていわばAIのハルシネーションが生み出した存在しない単語なのでは…？ pic.twitter.com/TVXWcNlVWh 2023-06-08 08:51:02 続きを読む

1600以上のAPIを適切に呼び出してAIに付き物の「幻覚」を大幅に減らす言語モデル「Gorilla」が公開される

2023/05/26 140 users GORILLA 付き物 幻覚 Bard API

近年はChatGPTやBardなどの対話型AIが相次いでリリースされ、人間の質問や呼びかけに対して非常に高精度な回答ができることで注目を浴びていますが、これらの対話型AIは時に真実ではないことを真実かのように話す「ハルシネーション(幻覚)」を起こすことがあります。そこで、膨大な数のAPIから適切なものを呼び出し、幻... 続きを読む

ChatGPTなどLLMの弱点“ハルシネーション”　「GPTは要素技術だ。商用という意味では遠い」

2023/05/23 18 users LLM GPT chatgpt 弱点 商用

ChatGPTのビジネス利用はブームだが、これをビジネスで活用しようとした場合、さまざまな課題がある。AIを活用したチャットボット開発などで知られ、ChatGPTのようなLLMの活用も進めているPKSHA Technologyが、商用利用のポイントについて語った。 ChatGPTのビジネス利用はブームだが、これをビジネスで活用しようとした... 続きを読む