「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

2024/03/28 11 users LLM Transformer PKSHA 生成AI 日英

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せ... 続きを読む

東大松尾研、日英対応の大規模言語モデル公開　100億パラメータ、精度は「国内オープンソース最高水準」

2023/08/18 27 users 東大松尾研 水準 精度 言語モデル公開 LLM

東大松尾研が、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）を、非商用のオープンソースで公開した。 東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（フ... 続きを読む