Reflection Llama-3.1 70B を試す｜ぬこぬこ

2024/09/06 12 users Reflection Thinking output タグ

tl;drReflection Llama-3.1 70B  がオープン LLM の中で世界最高性能を謳う Llama 3.1 70B を Reflection-Tuning を用いて事後学習 <output> / <thinking> / (reflection) などのタグを用いて推論 Ollama を使って推論させてみる Reflection Llama-3.1 70B とはHyperWrite の CEO Matt Shumer 氏の公開した Llama 3.1 ベ... 続きを読む

ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ

2024/05/23 6 users LLM ハルシネーション 定量 未知 考察

概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難し... 続きを読む

東大松尾研、日英対応の大規模言語モデル公開　100億パラメータ、精度は「国内オープンソース最高水準」

2023/08/18 27 users 東大松尾研 水準 精度 日英対応 言語モデル公開

東大松尾研が、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）を、非商用のオープンソースで公開した。 東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（フ... 続きを読む