大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編

2023/06/29 129 users LLM Turing GPT-4 インターン 知見

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Visi... 続きを読む