Microsoft、GraphRAG 1.0をリリース ―セットアップやCUIを改善し処理効率もアップ | gihyo.jp

2024/12/17 15 users CUI GraphRAG gihyo.jp リリース 強化

Microsoft⁠⁠、GraphRAG 1.0をリリース ―セットアップやCUIを改善し処理効率もアップ Microsoftは2024年12月16日、複雑な情報を処理できるよう強化拡張されたRAG「GraphRAG」の正式版GraphRAG 1.0のリリースをアナウンスした。 Moving to GraphRAG 1.0 – Streamlining ergonomics for developers and users -Microsoft Re... 続きを読む

【AWS re:Invent 2024】RAG 関連の5個のセッションの学びを濃縮してお届けします - カミナシ エンジニアブログ

2024/12/13 27 users invent GenAI 猛威 カミナシ サラダ

こんにちは、AWS re:Invent から帰国した a2 (@Atsuhiro_tim) です。すき家がサラダをつけても $5 で、その美味しさと安さに涙を流しています。 さて、AWS re:Invent 2024 のセッションカタログを見ると、今年も GenAI が猛威を振るっていたことがわかります。 昨年は Gen AI x 〇〇 が多かったのですが、今年は一歩進ん... 続きを読む

「Agentless」という最新手法。LLMの新しい使い方。

2024/12/10 136 users エージェントレス LLM 生成AIエージェント 手法 最新手法

本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentle... 続きを読む

LLMを悩ませる"Excel文書"をうまく扱う方法

2024/12/08 97 users LLM シロクマ チャットボット Excel文書 ドキュメント

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテ... 続きを読む

〇〇：「資料があるならRAGを作ればいいじゃない。」

2024/12/03 21 users Slack GMOアドパートナーズ 界隈 大半 テック系

はじめに こんにちは。GMOアドパートナーズ 24年新卒の嘉山です。Slackで社内規程や制度について質問できるRAG（Retrieval Augmented Generation）アプリ「tomoc（トモック）」を、新卒2人で開発しました。本プロジェクトが発足してからというもの、界隈のテック系の記事を眺めていると「RAG」系のテーマが大半を占めて... 続きを読む

日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita

2024/11/26 1327 users YomiToku OCR LLM メインターゲット 記号

はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識... 続きを読む

WebページをRAGしたい時の精度向上手法「HtmlRAG」

2024/11/26 9 users 論文 手法 回答精度 性能 株式会社ナレッジセンス

本記事では、RAGの性能を高めるための「HtmlRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、WebページをRAGしたい時に回答精度を上げる「HtmlRAG」の論文[1]について、日本語で簡単にまとめたもの... 続きを読む

ウェブ開発・データ処理・RAG・AI・SQL・ネットワークなどさまざまな分野のわかりやすい動画講座でスキルアップにつながるUdemyブラックフライデーセールおすすめ講座レビュー

2024/11/22 11 users Udemy タスク スキルアップ スキル ネットワーク

ITのスキルを身につける事は個人のキャリアアップにつながるだけでなく、タスクを自動化したり検索をAIに任せたりするなど、業務を効率化することが可能です。とはいえ、知らない分野の知識を身につけようとする時には「何をどのように学べば良いのか」が分からないもの。ちょうどUdemyが2024年11月29日(金)までブラック... 続きを読む

MicrosoftのGraphRAG+Neo4jで簡単にKnowledge Graphを可視化する - Taste of Tech Topics

2024/11/19 26 users Knowledge Graph Microsoft LLM

こんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 LLMが広く使用されるようになってから、RAGに関する研究も増加し、RAGを拡張する手法の研究も多く出ました。 その中でもテキストをグラフデータとして扱いRAGの元データとする手法をGraphRAGと言います。 今回はその中の一つであるMicrosoftが提... 続きを読む

RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」

2024/11/12 110 users 文脈 論文 手法 性能 株式会社ナレッジセンス

本記事では、RAGの性能を高めるための「Plan×RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「Plan×RAG」の論文[1]について、日本語で簡単にまとめたもので... 続きを読む

LangChain / LangGraph を活用した RAG そして AI エージェントを体験しながら学べる新著「LangChain と LangGraph による RAG・AI エージェント［実践］入門」を読んだ - kakakakakku blog

2024/11/05 14 users 新著 LangChain LangGraph 一石二鳥 入門

2024年11月9日に出版される新著「LangChain と LangGraph による RAG・AI エージェント［実践］入門」を読んだ📕 RAG そして AI エージェントとは！？という疑問に対して理解を深めることができて，実際に Python コードを実行しながら体験もできる．さらに最近の論文解説すらもあって，一石二鳥🐓いや一石三鳥って言え... 続きを読む

RAGよりも高性能で安い、生成AIの精度を高める「メニーショットICL」の威力

2024/11/01 19 users LLM 威力 生成AI 精度 グーグル

生成AI（人工知能）の精度を高める手法として、大規模言語モデル（LLM）と検索エンジンを組み合わせたRAG（Retrieval Augmented Generation、検索拡張生成）の利用が盛んだ。ところが米Google（グーグル）によれば、RAGよりも性能を高めやすい手法があるのだという。「メニーショットICL（Many-Shot In-Context Learning... 続きを読む

生成AIを“自社業務に特化”させて使いこなすために　「業務利用するには回答精度が低い」真因と成果に向けた具体的ステップ

2024/10/28 7 users 生成AI 真因 回答精度 成果 ステップ

人財不足などの社会課題を背景に一層の業務効率化などが求められる中、自社業務に特化した生成AI活用が期待されている。これを受けて検索拡張生成「RAG」に取り組む企業も増えたが、「期待する回答精度には届かない、業務に使えない」という声は多い。どうすれば「想定した成果」が得られるのか。 製造や流通など、業種... 続きを読む

RAGの「文脈が消える問題」を解決する「LongRAG」

2024/10/29 100 users 文脈 論文 手法 性能 株式会社ナレッジセンス

株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。本記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日本語で簡単にまとめたものです... 続きを読む

「RAG」とは何か？　なぜ“LLMの限界”を突破できるのか

2024/10/08 10 users LLM ハルシネーション 人工知能 課題克服 限界

関連キーワード 人工知能 大規模言語モデル（LLM）を活用する上で大きな課題となるのが、ハルシネーション（事実に基づかない回答を出力すること）のリスクだ。こうしたLLMの課題克服に役立つ技術として「RAG」（検索拡張生成）が注目されている。RAGはLLMの回答精度向上にどう役立つのか。その仕組みを解説する。 なぜ... 続きを読む

GraphRAGを使った生成AIチャットアプリを作ってみた - Qiita

2024/10/05 39 users Qiita GraphRAG ノート エッジ 施策

RAGの精度向上に有効な施策としてGraphRAGという手法があります。 インプットされた文章をノードとエッジと呼ばれる要素に分解し、ノード間の関係性をグラフデータとして表現する手法になります。 例えば文章中に出てくる人物をノードとし、人物間の関係性をエッジで表現する、といったイメージです。 ベクトル検索を使... 続きを読む

RAGを社内用語に強くするチャンク分割の手法「MoGG」

2024/10/01 9 users 生成AI ドキュメント エンタープライズ向け 手法 プロダクト

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「MoGG」という手法について、ざっくり理解します。 この記事は何 この記事は、社内用語が多く含まれるドキュメントでもRAGの性能を高くするための手法「Mo... 続きを読む

RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R

2024/09/27 232 users LLM 時系列順 論文 2024年度版 事前

RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだっ... 続きを読む

話題のGraphRAGにAWSで挑戦しよう！（LlamaIndexとNeptuneに入門） - Qiita

2024/09/23 6 users GitHub チャンク Neptune ベクトル 検索クエリー

GraphRAGとは？ Microsoft社が、以前から提唱していたRAGの新しいアプローチ「GraphRAG」のサンプル実装を7月にGitHubで公開したことから、LLM界隈で一気に話題となりました。 従来のRAGは、検索対象のドキュメントを埋め込み（ベクトル）に変換しておくことで、検索クエリーと意味的に近いかたまり（チャンク）を数学的... 続きを読む

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜 - Qiita

2024/09/19 7 users rig Qiita ハルシネーション ＩＳ 論文

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜RigragDataGemma DataGemma がリリースされました。外部情報を使ってハルシネーションを抑止する手法として RAG が有名ですが、Datagemma では RAG だけではなく RIG という手法も提案・利用していました。 RIG というのがよくわから... 続きを読む

RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services

2024/09/19 48 users LLM 道標 Advanced RAG 精度 on AWS

Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むため... 続きを読む

RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics

2024/09/18 18 users ベクトル検索 Taste of Tech Topics

こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交... 続きを読む

PythonでPDFからテキスト/表情報の抽出精度を比較してみた - Taste of Tech Topics

2024/09/11 12 users Python PDF テキスト LLM イワツカ

はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にする... 続きを読む

RAGの精度と速度を同時に向上「DIVA」による曖昧さ対策

2024/09/10 18 users LLM DiVA 精度 速度 須藤英寿

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 この記事では、曖昧な質問に対する回答の精度を高め、さらに処理速度を大幅に改善した手法「DIVA」について紹介します。 サマ... 続きを読む

RAGは検索エンジンが命！AI Search初心者入門 - Qiita

2024/09/05 154 users Qiita やまぞー エンジニア 近年 テクニック

はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセット... 続きを読む