arXivから2024年のLLMトレンド追ってみた

2024/12/18 11 users arXiv LLM 論文 Advent Calendar 清水

はじめに こんにちは、株式会社松尾研究所 シニアデータサイエンティストの清水です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 2024年も残り僅かとなりましたが、今年もLLM(Large Language Model)で大賑わいの1年となりました。そこでこの記事では今年1年の中でarXivに投稿されたLLMに関する論文を分析し... 続きを読む

LLMでマリオをプレイ「Large Language Mario」を作って試してみました

2024/08/17 68 users LLM Voyager マリオ チャットボット マインクラフト

LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説... 続きを読む

独自の日本語LLM（大規模言語モデル）のバージョン3を一般公開 ―225億パラメータの商用利用可能なモデルを提供―

2024/07/09 23 users 日本語LLM 藤田晋 本社 証券コード 東証プライム市場

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、225億パラメータの日本語LLM（Large Language Model、大規模言語モデル）「CyberAgentLM3」を公開したことをお知らせいたします。 当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月に独自の... 続きを読む

NEC、世界トップレベル性能の高速な大規模言語モデル (LLM) cotomi Pro / cotomi Light を開発

2024/04/24 11 users LLM cotomi アーキテクチャ NEC 生成AI

NECは、LLM(Large Language Model：大規模言語モデル)「cotomi(注1)」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発しました。 昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めています。具体的な活用シーン... 続きを読む

図解力を高める！LLMとmermaidで楽しむテキストベースの図作成術

2024/02/19 10 users LLM Mermaid chatgpt 普及 親和性

どうも、株式会社ナレッジワークのざわきんといいます。 最近よく mermaid というテキストベースの図作成ツールを使っていて、ChatGPTやGitHub CopilotのようなLLMを活用したツールとめちゃくちゃ親和性が高いなと思い、居ても立っても居られないので記事にしました。 TL;DR LLM(Large Language Model)の普及により、テ... 続きを読む

LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ

2024/01/22 20 users Rag LlamaIndex LLM 電通総研 chatgpt

こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として... 続きを読む

独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―

2023/11/02 13 users 日本語LLM 藤田晋 本社 証券コード チャットモデル

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開したことをお知らせいたします。 当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国... 続きを読む

LLM を組み込んだチャットアプリケーションを写経しながら実装できる「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ - kakakakakku blog

2023/10/16 13 users チャットアプリケーション LLM 新著 chatgpt マー

2023年10月18日に出版される新著「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ & 写経した📕 読者層的には「ChatGPT って最近よく聞くしたまーに使うこともあるけど LangChain って何なのー？」という人や「LLM (Large Language Model) をアプリケーションに組み込むなんて考えたこともなかっ... 続きを読む

LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog

2023/09/25 92 users LLM イノベーションセンター GitHub 兼務 杉本

こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM を... 続きを読む

大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

2023/07/24 13 users LLM Turing 藤井 大規模言語モデル 言語モデル

はじめに Turing 株式会社リサーチチームの藤井(@okoge_kaz)です。 Turingでは、自動運転を支える技術のひとつとして大規模言語モデル(Large Language Model: LLM)に注目しており、関連する技術の研究開発を行っています。 つい先日、大規模言語モデルの事前学習を行う際に用いられることが多いmicrosoft/Megatron-DeepS... 続きを読む

NEC、130億パラメータで世界トップクラスの日本語性能を有する軽量なLLMを開発

2023/07/06 18 users NEC Generative AI 生成AI パラメータ数

NECは、Generative AI(生成AI)における日本語大規模言語モデル(Large Language Model、以下LLM)を開発しました。 本LLMは独自に収集・加工した多言語データを利用し、NECが開発した汎用的なモデル、いわゆるファウンデーションモデル(注1)です。独自の工夫により高い性能を実現しつつパラメータ数を130億に抑えた本LLMは... 続きを読む

LLMで自動運転車を動かしてみた話｜aoshun7

2023/07/01 52 users LLM Turing チューリング 青木俊介 乗客

こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLM... 続きを読む

大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編

2023/06/29 129 users LLM Turing GPT-4 インターン 知見

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Visi... 続きを読む

スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について

2023/05/22 14 users 富岳 スーパーコンピュータ 開発 LLM chatgpt

東京工業大学、東北大学、富士通株式会社、理化学研究所は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」（以下、「富岳」という）を活用した大規模言語モデル（Large Language Model, LLM）[用語1]の分散並列学習手法の研究開発を2023年5月から実施します。 大規模言語モデルは、ChatGPT[用語2]をはじめ... 続きを読む

サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―

2023/05/17 421 users サイバーエージェント chatgpt 日本語LLM 藤田晋

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂... 続きを読む

“和製GPT”競争勃発か　サイバーエージェント、独自の日本語LLM発表　「活用を始めている」

2023/05/11 21 users サイバーエージェント LLM 活用 日本語LLM 既存

サイバーエージェント（東京都渋谷区）は5月11日、独自の日本語LLM（Large Language Model、大規模言語モデル）を発表した。すでに130億パラメータまで開発が完了し、広告の制作などに活用を始めているという。 サイバーエージェントは「既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化... 続きを読む

サイバーエージェント、独自の日本語LLM（大規模言語モデル）を開発 ―自然な日本語の文章生成を実現―

2023/05/11 199 users 藤田晋 極予測TD 本社 サイバーエージェント 証券コード

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、独自の日本語LLM（Large Language Model、大規模言語モデル）を開発したことをお知らせいたします。 本モデルはすでに130億パラメータまでの開発が完了しており、当社が提供する「極予測AI」「極予測TD」... 続きを読む

LLMは生物学で捉えられるものかもしれない

2023/04/02 17 users LLM chatgpt 筆頭 昨今 アプリケーション

人類が生み出したLLM。だが、人類はその正体をちっとも理解できていない 昨今、ChatGPTを筆頭とする、いわゆるLLM（Large Language Model）の話題がかまびすしい。人類が生まれて初めて、人間以外で「人間らしく」会話できる機械（というかアプリケーション）を手にしたのだから、無理もない。この2022年とか2023年とい... 続きを読む

LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX

2023/03/09 55 users LLM LayerX chatgpt 福島良典 福島

はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerX... 続きを読む