話題のGraphRAGにAWSで挑戦しよう！（LlamaIndexとNeptuneに入門） - Qiita

2024/09/23 6 users GitHub Rag チャンク Neptune ベクトル

GraphRAGとは？ Microsoft社が、以前から提唱していたRAGの新しいアプローチ「GraphRAG」のサンプル実装を7月にGitHubで公開したことから、LLM界隈で一気に話題となりました。 従来のRAGは、検索対象のドキュメントを埋め込み（ベクトル）に変換しておくことで、検索クエリーと意味的に近いかたまり（チャンク）を数学的... 続きを読む

Langfuse + RagasでRAGの精度管理 - Re:ゼロから始めるML生活

2024/05/01 9 users Rag トラッキング 精度 ML生活 前回

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLlamaIndexに加えて、今回はLangfuseを使ってみたいと思います。... 続きを読む

LLMの用途はチャットボットや検索にとどまらず——エンプラ系アプリの可能性を広げるエンベディングとは - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2024/01/23 9 users LLM コンポーネン Rag Bridge チャットボット

Image credit: LlamaIndex 大規模言語モデル（LLM）の人気が高まるにつれ、さまざまなデータタイプの特徴を数値表現に圧縮する深層学習システム「エンベディングモデル」にも関心が集まっている。 エンベディングモデルは、企業向けの LLM の重要なアプリケーションの1つである検索拡張世代（RAG）の重要なコンポーネン... 続きを読む

LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ

2024/01/22 20 users Rag LLM 電通総研 chatgpt ローカル環境

こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として... 続きを読む

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka

2023/08/26 53 users OpenAI Colab npaka 蒸留 GPT-4

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」... 続きを読む

ざっくりつかむ！LangChainのメンタルモデル

2023/05/19 12 users LangChain メンタルモデル ライブラリ 昨今 アプリ

はじめに 昨今の激アツChatGPTブームを見ると、これをアプリとして開発してみたいと思う方も多いのではないでしょうか。気になって調べてみるとLangChainやLlamaIndexというライブラリに行き着く方も多いはずです。 そしてすぐ壁に直面すると思います。 結局これらのライブラリが 何で どういう時に どう使えば良いのか ... 続きを読む

LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO

2023/03/11 24 users DevelopersIO OpenAI 佐藤智樹 API 分野

OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本... 続きを読む