リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発　プライベートLLMの開発効率化に貢献

2024/09/30 9 users リコー GPT-4レベル モデルマージ LLM 貢献

リコーは9月30日、モデルマージ技術によって高性能な日本語大規模言語モデル（LLM）を開発したと発表した。東京工業大学などが開発したLLM「Llama-3-Swallow-70B」をベースにしたAIモデルで、米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。 モデルマージとは、複数の学習済みのLLMモデルを組み合わせて、より性... 続きを読む

大規模言語モデル開発のための日本語 Instruction データセット作成の取り組み

2024/03/30 6 users 日本語

日本語LLMチューニングデータ最前線 - W&B ミートアップ #12 in 東京 での発表資料になります。 https://wandb.connpass.com/event/313036/ 続きを読む

プリファード、大規模言語モデル開発　24年商用化目指す - 日本経済新聞

2023/06/16 21 users プリファード 日本経済新聞

プリファード・ネットワークス（PFN、東京・千代田）は16日、生成人工知能（AI）の基盤となる大規模言語モデル（LLM）の開発に着手したと発表した。西川徹最高経営責任者（CEO）が同日開かれたICT（情報通信技術）分野の総合展示会「Interop Tokyo 2023」で表明した。米テック企業の汎用的なLLMとは一線を画し、より専門... 続きを読む

「富岳」で大規模言語モデル開発へ　分散並列学習法を研究　成果はGitHubなどで公開予定

2023/05/23 7 users 富士通 全体総括 計算資源 理化学研究所 収集

理化学研究所と富士通、東京工業大学、東北大学は5月22日、スーパーコンピュータ「富岳」で大規模言語モデルの分散並列学習手法の研究を始めると発表した。 大量のデータを効率的に処理する計算資源を確保するために富岳を活用する。研究は東京工業大学が全体総括を担当し、東北大学が学習用データの収集、理化学研究所... 続きを読む

LINEがOpenAI「GPT」・Google「T5」同様の超巨大汎用言語モデルをNAVERと共同開発、世界初の日本語特化 | TechCrunch Japan

2020/11/25 11 users 汎用言語モデル 言語処理 インフラ構築 韓国NAVER 処理

LINEは11月25日、韓国NAVERと共同で、日本語に特化した超巨大言語モデル開発と、その処理に必要なインフラ構築についての取り組みを発表した。超巨大言語モデル（膨大なデータから生成された汎用言語モデル）は、AIによる、より自然な言語処理・言語表現を可能にするもので、日本語に特化した超巨大言語モデル開発は、世... 続きを読む