LLMによるLLMの評価「LLM-as-a-Judge」入門〜基礎から運用まで徹底解説

2024/08/06 6 users LLM 前回 一部 入門 評価方法

前回の記事でLLMアプリケーションの評価について基礎から運用まで丁寧に解説いたしました。 この記事では、評価方法の一部であるLLM-as-a-Judgeについて詳しく解説したいと思います。 LLMアプリケーションの評価といえば、LLM-as-a-Judgeだというように結びつける方もいらっしゃいますが、必ずしもそうではありません。 ... 続きを読む

Dify の ワークフロー の概要｜npaka

2024/05/04 21 users Dify npaka workflow ワークフロー ノート

以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、... 続きを読む

LLMアプリケーションの新定番、Microsoft guidanceライブラリのgenメソッドを詳細に追ってみる｜mah_lab / 西見 公宏

2023/05/28 14 users guidance mah_lab 西見 公宏 gpt-3 定番

MicrosoftのguidanceライブラリはLLMアプリケーションを作成する際の新たな定番となりそうな気がしています。そういう訳で、今回はguidanceのgenメソッドについて詳しく追ってみたいと思います。 基本的な使い方import guidance gpt3 = guidance.llms.OpenAI("text-davinci-003") gpt3_5 = guidance.llms.OpenAI("gpt-3.... 続きを読む