「Agentless」という最新手法。LLMの新しい使い方。

2024/12/10 136 users エージェントレス LLM 生成AIエージェント 手法 最新手法

本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentle... 続きを読む

日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita

2024/11/26 1327 users YomiToku OCR LLM メインターゲット 記号

はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識... 続きを読む

RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」

2024/11/12 110 users 文脈 論文 手法 性能 株式会社ナレッジセンス

本記事では、RAGの性能を高めるための「Plan×RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「Plan×RAG」の論文[1]について、日本語で簡単にまとめたもので... 続きを読む

RAGの「文脈が消える問題」を解決する「LongRAG」

2024/10/29 100 users 文脈 論文 手法 性能 株式会社ナレッジセンス

株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。本記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日本語で簡単にまとめたものです... 続きを読む

RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R

2024/09/27 232 users LLM 時系列順 論文 2024年度版 事前

RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだっ... 続きを読む

RAGは検索エンジンが命！AI Search初心者入門 - Qiita

2024/09/05 154 users Qiita やまぞー エンジニア 近年 テクニック

はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセット... 続きを読む

コサイン類似度とは？　新しい検索体験を支えるベクトルDBの基本技術を押さえる

2024/08/21 124 users コサイン類似度 ベクトルDB 基本技術 ベクトルデータベース

生成AI（人工知能）のRAG（検索拡張生成）の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトルデータベースとはどのようなデータベースで、なぜ「意味」で検索できるのか。ベクトルデータベースの基本技術についてデータベースの専門家が解説する。（編集部） ベクトルデータベースは自... 続きを読む

話題のGraphRAGとは - 内部構造の解析と実用性の考察

2024/08/20 153 users GraphRAG 窪田 Microsoft ソリューション

初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG... 続きを読む

ゼロからRAGを作るならこんなふうに

2024/08/14 289 users LLM LangChain Dify ベクトルDB 選定

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 ... 続きを読む

生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog

2024/07/24 144 users Azure GCP 総評 又吉 AWS

G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Goo... 続きを読む

実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル

2024/07/22 156 users Retrieval ドクセル generation 実務 現場

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場... 続きを読む

ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ

2024/07/19 107 users ローカルLLM VA Linux 外部記憶 エンジニアブログ

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に... 続きを読む

今さらながらGoogleの「NotebookLM」を触ったら、インターネットサーフィンが普通にそのまま"仕事"になった話

2024/07/20 210 users NotebookLM インターネットサーフィン うち 話題

今さらながらGoogleの「NotebookLM」を触ったら、インターネットサーフィンが普通にそのまま"仕事"になった話 6月頭くらい？　にGoogleがリリースして話題になっていた、自分専用のRAGが簡単に組めるLLMツール「NotebookLM」ですが、そのうち触ろうと思いつつも、「またRAGか」「どうせRAGでしょ？　知ってます」みたい... 続きを読む

RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳

2024/07/02 196 users LLM データサイエンティスト arXiv.org メモ帳

大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org... 続きを読む

【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita

2024/05/03 215 users Qiita ハンズオン AWS

生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉... 続きを読む

RAGを複雑な質問に強くする手法「CoA」について

2024/04/16 107 users coA Reasoning RAGシステム 生成AI 論文

本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、... 続きを読む

優秀と噂なCohere社のCommand R+でRAGチャットボットを簡単に構築して体験しよう！ - Qiita

2024/04/14 118 users Qiita LLM Command R＋ チュートリアル 実装

1. はじめに Cohere社が最近リリースしたLLMのCommand R+がGPT4に迫る性能を発揮していたり、RAG利用での性能で話題となっています。 そのCommand R+でRAGを体験できるチャットアプリの実装がLightningAIにてチュートリアルが公開(CC-BY-4.0ライセンスとして)されています。 これを身近な環境で動かしてみたいと思います... 続きを読む

⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について

2024/04/09 198 users 拡張 規模

From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE 続きを読む

生成AIの「RAG」とは？ 知っておきたい重要キーワードを解説する【イニシャルB】

2024/04/07 111 users イニシャルB

続きを読む

RAGの実装戦略まとめ - Qiita

2024/03/19 215 users Qiita

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事... 続きを読む

「社内のアレ分からん、教えてAI」を支援　Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース

2024/02/21 202 users アレ 正式リリース 外部データ 機能 社内

米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情... 続きを読む

GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例

2024/02/10 142 users 知見 真っ先 生成AI界隈 アプリケーション 実装

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見... 続きを読む

RAGの性能を改善するための8つの戦略 | Fintan

2024/02/08 224 users Fintan 性能 戦略 ８つ

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデー... 続きを読む

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog

2024/02/08 116 users Slackbot LLM GitHub ABEJA 坂井

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメイン... 続きを読む

RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO

2024/02/06 257 users DevelopersIO 知見 実案件 資料

はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内シス... 続きを読む