RAGを複雑な質問に強くする手法「CoA」について

2024/04/16 107 users coA Reasoning RAGシステム 生成AI 論文

本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、... 続きを読む

優秀と噂なCohere社のCommand R+でRAGチャットボットを簡単に構築して体験しよう！ - Qiita

2024/04/14 118 users Qiita LLM Command R＋ チュートリアル 実装

1. はじめに Cohere社が最近リリースしたLLMのCommand R+がGPT4に迫る性能を発揮していたり、RAG利用での性能で話題となっています。 そのCommand R+でRAGを体験できるチャットアプリの実装がLightningAIにてチュートリアルが公開(CC-BY-4.0ライセンスとして)されています。 これを身近な環境で動かしてみたいと思います... 続きを読む

⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について

2024/04/09 198 users 拡張 規模

From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE 続きを読む

生成AIの「RAG」とは？ 知っておきたい重要キーワードを解説する【イニシャルB】

2024/04/07 111 users イニシャルB

続きを読む

Command R の 概要｜npaka

2024/04/05 5 users npaka LLM Embedding Cohere Tool

以下の記事が面白かったので、簡単にまとめました。 ・Command R: Retrieval-Augmented Generation at Production Scale 1. Command R「Command R」は、「RAG」や「Tool」などの長いコンテキストタスク向けに最適化されたLLMです。CohereのEmbeddingおよびRerankと連携して動作するように設計されており、RAGアプリケー... 続きを読む

Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

2024/03/29 25 users RDS IoT SQL MySQL AWS

Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは！ 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース（MySQL）に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にする... 続きを読む

ナレッジグラフを用いたRAGの改善 - Ahogrammer

2024/03/21 12 users Ahogrammer LLM ナレッジグラフ 改善 手法

RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGで... 続きを読む

RAGの実装戦略まとめ - Qiita

2024/03/19 215 users Qiita

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事... 続きを読む

AI基盤モデル「Granite」に日本語版登場　日本IBMが提供　ビジネス活用に特化、RAGなどの利用を想定

2024/02/27 12 users 要約 タスク 法務 学術 財務

ビジネス活用に特化しており、文章の要約や質問応答、分類などを得意とする。また、RAG（外部データベースの情報を参照させ、機密情報を基にした回答などを可能にする仕組み）やコンテンツ生成などのタスクにも対応。インターネットや学術、コード、法務、財務などの領域のデータを学習しており、チューニングすることで... 続きを読む

ローカルLLMでRAGを実現する「Chat With RTX」を、RTX4060搭載ノートPCで動かす【イニシャルB】

2024/02/25 11 users ローカルLLM イニシャルB Chat with RTX

続きを読む

「社内のアレ分からん、教えてAI」を支援　Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース

2024/02/21 202 users アレ 正式リリース 外部データ 機能 社内

米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情... 続きを読む

GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例

2024/02/10 142 users 知見 真っ先 生成AI界隈 アプリケーション 実装

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見... 続きを読む

RAGの性能を改善するための8つの戦略 | Fintan

2024/02/08 224 users Fintan 性能 戦略 ８つ

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデー... 続きを読む

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog

2024/02/08 116 users Slackbot LLM GitHub ABEJA 坂井

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメイン... 続きを読む

RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO

2024/02/06 257 users DevelopersIO 知見 実案件 資料

はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内シス... 続きを読む

LLMの用途はチャットボットや検索にとどまらず——エンプラ系アプリの可能性を広げるエンベディングとは - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2024/01/23 9 users LLM コンポーネン Bridge LlamaIndex 用途

Image credit: LlamaIndex 大規模言語モデル（LLM）の人気が高まるにつれ、さまざまなデータタイプの特徴を数値表現に圧縮する深層学習システム「エンベディングモデル」にも関心が集まっている。 エンベディングモデルは、企業向けの LLM の重要なアプリケーションの1つである検索拡張世代（RAG）の重要なコンポーネン... 続きを読む

BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する

2024/01/23 6 users LLM BigQuery SQL Vertex AI

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを... 続きを読む

LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ

2024/01/22 20 users LlamaIndex LLM 電通総研 chatgpt 山下

こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として... 続きを読む

LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB

2023/12/27 38 users LLM AIDB 浮き彫り タスク アプリケーション

背景 大規模言語モデル（LLM）は、自然言語処理の多くのタスクで、人間の能力に匹敵するような成果を上げています。しかし、時には不正確な情報を生成したり、特定の分野や専門的な質問への対応力が不足したりするといった課題も浮き彫りになっています。現実世界でのアプリケーションにLLMを適用する際には解決すべきポ... 続きを読む

GPT-4 Turbo with Vision × Azure AI Search × Azure AI Vision 時代のマルチモーダルエンタープライズサーチ - Qiita

2023/12/26 5 users Qiita レポジトリ パブリックプレビュー開始 公開

GPT-4 Turbo with Vision × Azure AI Search × Azure AI Vision 時代のマルチモーダルエンタープライズサーチAzureCognitiveSearchChatGPTGPT-4AzureAISearch 2023/3/10 の公開から 9 か月経ちましたが、GPT-4 Turbo with Vision のパブリックプレビュー開始などもあり例の RAG アーキテクチャのレポジトリがマルチモー... 続きを読む

生成AI と Wikipedia記事 で 子供向けお仕事提案bot を作ってみよう(Azure OpenAI + RAG) - ENGINEERING BLOG ドコモ開発者ブログ

2023/12/21 8 users Azure OpenAI API 生成AI ドコモ 既存

NTT コノキューに出向中の澤山です。 今年の7月にドコモから、コノキューにやってきました。 この記事は、NTTドコモ アドベントカレンダー2023 21日目の記事です。 この記事では、Wikipedia記事 と Azure OpenAI API、既存のモデルの3つを用い、RAG(Retrieval-Augmented Generation)のためのデータ作成と、RAGを活用した... 続きを読む

RAGにおけるドキュメント検索精度向上について(実践編)

2023/12/20 10 users 手法 前回 概要 向上 実践編

損害保険ジャパン株式会社 DX推進部の眞方です。この記事では、RAG（Retrieval Augmented Generative）の構築時に、ドキュメント検索精度の向上を目指して検索モデルの改善を行った際の手法、および結果について解説させていただきます。 概要を知りたい、という方は以前書いた前回の記事を読んでください。 はじめに 今... 続きを読む

Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics

2023/12/20 12 users ポトフ aws.amazon.com 菅野 構築 統計データ

ポトフがおいしい季節ですね、菅野です。 Amazon BedrockのKnowledge baseがGAとなり、Amazon BedrockでもRAGが作成できるようになりました。 docs.aws.amazon.com 今回はKnowledgeベースを実際に作成して統計データを検索するRAGを構築してみます。 RAGとは RAGアーキテクチャ（Retrieval-Augmented Generation）は、自... 続きを読む

Elasticsearchのベクトル検索速度を調べてみた - Taste of Tech Topics

2023/12/19 12 users elasticsearch LLM Acroquest 発展

この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG... 続きを読む

Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life

2023/12/14 14 users LLM hotchpotch github.com 出力 指示

なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も... 続きを読む