日本語のAIで使う大規模言語モデル性能を評価する「オープン日本語LLMリーダーボード」公開

2024/11/26 15 users 日本語 公開 LLM NLP タスク

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugg... 続きを読む

第6回 LLM 勉強会

2023/11/30 9 users LLM 勉強会 第6回 LLM 理研AIP 近江

2023年11月29日（水）に国立情報学研究所にて第６回 LLM 勉強会を開催しました。 プログラム LLM-jp 状況報告（黒橋） [資料] LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美） [資料] ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江） [資料] 医療... 続きを読む

注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users JSON AUTOM shi3z マシン モデル

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明　目指すのは“GPT-3級の日本語LLM”

2023/10/18 11 users 日本語LLM 着手 表明 言語モデル 開発

「世界トップレベルの大規模言語モデル（LLM）の開発を始める」──産業技術総合研究所は、そんな声明を発表した。 産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学... 続きを読む