マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy

2023/10/15 19 users 草案 ミスマッチ マッキンゼー ユースケース 多数

2023 年に大規模言語モデルは多数発表されていますが、どれを選べばよいかは依然として曖昧です。その理由の一つにユースケースと評価方法のミスマッチがあると考えています。例えば、営業メールの草案を生成するモデルを選ぶとき、質問回答データセットの評価結果がどれだけ意味があるかは不透明です。誰かにメールを書... 続きを読む

ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy

2023/08/13 124 users chatgpt API 実務 コスト ユーザー

ChatGPT を上手く使う方法として、非常に長いプロンプトが共有されているのを見たことがある方は多いと思います。ただ、実務で使う場合長いプロンプトより短いプロンプトの方が扱いやすく API を利用する際のコストも少なく済みます。「ユーザーが作成した Excel マクロをメンテナンスしてほしい」と言われると 90% のエ... 続きを読む