LLMが自分で「より賢いLLMの作り方」を発見するSelf-Developingフレームワーク（NEC 石橋陽一氏） | AIDB

2024/11/04 96 users LLM 全文 論文 応募 継続

マイページに保存最終更新日：2024/11/04 本記事は、研究者が自ら著書の論文を解説する特別企画です。AIDBの通常記事とは異なり、本企画の記事は会員以外のすべてのユーザーも全文閲覧できます。皆様ぜひお楽しみください。また、本企画への応募は以前からXで募集しており、これが4記事目の公開となります。本企画は継続... 続きを読む

RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 | AIDB

2024/09/27 30 users クエリ 推論 文書 Microsoft 課題

以下では、クエリのタイプ別に、概要と課題そして解決策を列挙していきます。 クエリタイプ1. 明示的事実クエリ 明示的事実クエリは、質問の中で最も簡単なタイプです。与えられた文書や文書の一部から直接答えを見つけることができます。多くの場合、答えは文書の中にはっきりと書かれていて、難しい推論をしなくても答... 続きを読む

オープンソースモデルでも力を合わせればGPT-4oに匹敵することを示す「Mixture-of-Agents（MoA）」アーキテクチャ | AIDB

2024/06/21 15 users MOA アーキテクチャ GPT-4o オープンソースモデル

背景 LLMは、人の好みに合わせて調整することで、より便利で一貫性のある文章を作れるようになってきました。しかし、モデルのサイズや学習データには限界があり、単純に大きくすることで性能を上げるには莫大な費用がかかります。 一方で、LLMは種類によって得意なことが違います。例えば、複雑な指示に従うのが得意な... 続きを読む

LLMエージェントの設計16パターン | AIDB

2024/05/29 16 users ハルシネーション LLMエージェント 推論 道筋 エージェント

LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定す... 続きを読む

LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB

2023/12/27 38 users LLM Rag 浮き彫り タスク アプリケーション

背景 大規模言語モデル（LLM）は、自然言語処理の多くのタスクで、人間の能力に匹敵するような成果を上げています。しかし、時には不正確な情報を生成したり、特定の分野や専門的な質問への対応力が不足したりするといった課題も浮き彫りになっています。現実世界でのアプリケーションにLLMを適用する際には解決すべきポ... 続きを読む

Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

2023/12/20 10 users LLM GPU パラメータ SSD CPU

マイページに保存最終更新日：2023/12/20 Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。 CPUで4-5倍、GPUで2 […] The post Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手... 続きを読む

Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕 | AIDB

2023/12/07 85 users GEMINI LLM GPT-4 最初 Google

マイページに保存最終更新日：2023/12/07 Googleは、人間の専門家のパフォーマンスを上回る最初の大規模言語モデル（LLM）として「Gemini」を発表しました。LLMの主要なベンチマークの一つであるMMLU（多領域の学術ベンチマーク）をはじめとするほとんどのベンチマークでGPT-4を凌駕しています。 Geminiは、画像、音声、... 続きを読む

LLMベースの新しい言語『SUQL』が示唆する「非構造化データのクエリ」を処理するパラダイム | AIDB

2023/11/20 9 users LLMベース クエリ パラダイム SQL スタンフォード大学

マイページに保存最終更新日：2023/11/20 スタンフォード大学の研究者たちは、新しいプログラミング言語『SUQL』（Structured and Unstructured Query Language）を開発しました。 この言語は、SQL（Structured Query Language）の概念を拡張し、非構造化データのクエリ処理を可能にする新しいパラダイムを導入していま... 続きを読む

ユーザープロンプトをLLMが言い換えて、LLM自身が理解しやすくする手法『RaR』 | AIDB

2023/11/13 11 users LLM rar 応答 手法 指示

ユーザープロンプトをLLMが言い換えて、LLM自身が理解しやすくする手法『RaR』 2023/11/13 AI論文解説 LLM プロンプト AIDB Research マイページに保存最終更新日：2023/11/13 本記事では、大規模言語モデル（LLM）に対するユーザーの質問・指示に対する応答の質を向上させる新しい手法「RaR（Rephrase and Respond）」... 続きを読む

ChatGPTの効果的なプロンプト手法における「基本のキ」を理論とテンプレート両方で紹介 | AIDB

2023/11/07 305 users chatgpt LLM ChatG プロンプト 基本

マイページに保存最終更新日：2023/11/08 ChatGPTなどのLLMは、自然言語を理解し、人間のように対話する能力を持っており、多くの場面でその能力を発揮しています。しかし、これらのモデルが最大限のパフォーマンスを発揮するためには、適切なプロンプト（指示テキスト）を使用することが不可欠です。 本記事では、ChatG... 続きを読む

「自分を信じて限界を超えてください」とプロンプトに添えるとAIの出力が精度向上すると明らかになった話…界隈では「松岡修造メソッド」として知られていた

2023/11/03 156 users プロンプト 界隈 出力 くだ 精度

AIDB @ai_database AIDBは論文ベースで研究にキャッチアップできるメディアです■新着論文サマリー・デイリーニュースレター：ai-data-base.com/arxiv-paper-da… ■深掘り解説記事：ai-data-base.com/premium ai-data-base.com AIDB @ai_database 「自分を信じて限界を超えてください」「成長の機会だと捉えて挑戦してくだ... 続きを読む

「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する | AIDB

2023/11/03 430 users LLM chatgpt AI論文 限界 パフォーマンス

ホーム AI論文解説, 大規模言語モデル 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する... 続きを読む

LLMに非線形的な思考を与えてCoTを上回る性能を引き出す手法『IEP』と実行プロンプト CoTと組合せでさらに強力になる場合も | AIDB

2023/10/26 11 users LLM IEP cot プロンプト ステップバイステップ

ホーム AI論文解説, 大規模言語モデル LLMに非線形的な思考を与えてCoTを上回る性能を引き出す手法『IEP』と実行プロンプト　CoTと組合せでさらに強力になる場合も マイページに保存最終更新日：2023/10/26 「ステップバイステップで考えてください」といったプロンプトで知られるChain-of-Thought（CoT）手法に匹敵する... 続きを読む

LLMにナレッジグラフ（知識グラフ）を連携させることで、タスク遂行能力を大幅に向上させるフレームワーク『Graph Neural Prompting（GNP）』 | AIDB

2023/10/19 33 users LLM GNP フレームワーク ナレッジグラフ AI論文解説

ホーム AI論文解説, 大規模言語モデル LLMにナレッジグラフ（知識グラフ）を連携させることで、タスク遂行能力を大幅に向上させるフレームワーク『Graph Neural Prompting（GNP）』 LLMにナレッジグラフ（知識グラフ）を連携させることで、タスク遂行能力を大幅に向上させるフレームワーク『Graph Neural Prompting（GNP... 続きを読む

LLMにまず前提から尋ることで出力精度を向上させる『ステップバック・プロンプティング』と実行プロンプト | AIDB

2023/10/18 107 users LLM ＳＴＥＭ 実行プロンプト タスク 工学

従来の課題 LLMはSTEM（科学、技術、工学、数学）や知識ベースの質問応答（Knowledge QA）、多段階推論（Multi-Hop Reasoning）など、複雑なタスクでの使用が増加しています。しかし、これらの高度なタスクにおいて、LLMは中間の推論ステップでの正確性は必ずしも十分ではない場合があります。 既存のプロンプト技術、例... 続きを読む

GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行プロンプト | AIDB

2023/10/16 804 users Dot メンタルヘルス フレームワーク GPT-4 セラピスト

ホーム AI論文解説, メンタルヘルス・心理学, 大規模言語モデル GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行プロンプト GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行... 続きを読む

LLMが真の推論能力を発揮するには時折「一時停止」させるのが重要との報告 | AIDB

2023/10/12 6 users LLM カーネギーメロン大学 推論能力 出力 現象

マイページに保存最終更新日：2023/10/12 大規模言語モデル（LLM）はしばしば、真の推論能力を発揮しきれていない出力を行っています。この現象はカーネギーメロン大学とGoogleの研究者らによって指摘され、さらに解決するための新しいアプローチが提案されています。 本研究は、一時停止トークンという新しい手法を導入... 続きを読む

プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB

2023/10/09 59 users プロンプト アプロー cot アルゴリズム タスク

従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプロー... 続きを読む

GoogleがLLMで「非構造化文書」高精度テキスト抽出OCR『LMDX』発表。Bardを強化する可能性 | AIDB

2023/09/28 12 users LLM Bard OCR レシート テキスト

ホーム AI論文紹介, OCR, 大規模言語モデル GoogleがLLMで「非構造化文書」高精度テキスト抽出OCR『LMDX』発表。Bardを強化する可能性 マイページに保存最終更新日：2023/09/28 Googleは、非構造化文書（例えばレシートなど）から高精度にテキストを抽出するOCR（Optical Character Recognition）技術『LMDX（Language M... 続きを読む

OpenAI、ChatGPTが画像を分析する『GPT-4V（ビジョン）』を発表。安全性、嗜好性、福祉機能を強化 | AIDB

2023/09/26 15 users OpenAI chatgpt RLHF DALL-E ビジョン

画像出力の不明点と可能性 現時点でGPT-4Vが画像を出力できるかどうかについては、公式な情報はありません。しかし、OpenAIが開発したDALL-Eなどの画像生成AIとの連携が将来的には考えられる（発表済み）ため、この点には注目が集まっています。 RLHF（人間フィードバック強化学習）による嗜好性の学習 GPT-4Vは、人間フ... 続きを読む

LLMが巡回セールスマン問題などの最適化問題を解く〜自分自身で優れたプロンプトを作成＆活用〜 | AIDB

2023/09/12 6 users LLM プロンプト 言語 手法 Google DeepMind

マイページに保存最終更新日：2023/09/12 Google DeepMindの最新研究によれば、Large Language Models（LLM）が最適化問題を解決する新たな手法として利用できる可能性が示されました。この研究は、自然言語を用いて最適化タスクを説明し、それに基づいてLLMが新しい解を生成するという方法を提案しています。 さらに、L... 続きを読む

数式や文章がぐにゃぐにゃに曲がった論文PDFでもくっきり認識する画期的なOCR『Nougat』 | AIDB

2023/09/06 20 users Nougat OCR 数式 損失 Meta AI

マイページに保存最終更新日：2023/09/05 科学的知識は主に書籍や科学誌に保存されていますが、PDF形式が一般的です。しかし、この形式は特に数学的表現においてセマンティック情報の損失を引き起こします。この問題に対処するために、Meta AIの研究チームは『Nougat（Neural Optical Understanding for Academic Docume... 続きを読む

推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになった | AIDB

2023/08/30 6 users ＤＦＳ LLM アルゴリズム 探索アルゴリズム AOT

既存アルゴリズムの応用 AoTは、既存の探索アルゴリズムを巧妙に応用しています。具体的には、深さ優先探索（DFS）や幅優先探索（BFS）のようなアルゴリズムを模倣し、それを基に新しい探索戦略を構築しています。 これにより、AoTは問題解決において非常に柔軟なアプローチを取ることができます。例えば、DFSを用いるこ... 続きを読む

AIは意識を持っているのか/持つのか、AI研究者と意識研究者たちが共同研究した結果 | AIDB

2023/08/28 7 users メンタルヘルス Inc 議論 政治 心理学

AIは意識を持っているのか/持つのか、AI研究者と意識研究者たちが共同研究した結果 2023/8/28 AI論文紹介 メンタルヘルス・心理学 政治・社会 Parks, Inc. マイページに保存最終更新日：2023/08/28 AIが意識を持つ可能性についての議論が再燃しています。この問題は昔から、科学的にも哲学的にも注目が集まっています。 ... 続きを読む

メタ認知をさせてLLMの能力を上げる手法「メタ認知プロンプティング」 | AIDB

2023/08/17 6 users LLM プロンプティング クエリ 推理 焦点

大規模言語モデルの現状 大規模言語モデル（LLM）は、特定のクエリや文に対して正確な出力を生成するために設計されています。また、現在の研究は主にLLMの推理能力の向上に焦点を当てており、多段階の推理や自己整合性の技術などが開発されています。 しかし、ユーザー側のプロンプティングの工夫によりパフォーマンス... 続きを読む