“学習データも全てオープン”なLLM、NIIが公開　GPT-3級モデルのプレビュー版

2024/09/17 10 users LLM フルスクラッチ NII プレビュー版 AIモデル

国立情報学研究所（NII）は9月17日、パラメータ数約1720億の大規模言語モデル（LLM）のプレビュー版「LLM-jp-3 172B beta1」を公開した。NIIが開発するLLMは、データをフルスクラッチで学習しており、AIモデルの他に学習データもオープンになっているのが特徴。プレビュー版モデルは、学習データの約3分の1までを学習し... 続きを読む

Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone OpenELM ELM Apple パラメータ

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

東大発のスタートアップ企業 “国内最大規模 国産生成AI完成” | NHK

2024/03/12 20 users 東大発 NHK 生成AI 基盤 各社

東京大学発のスタートアップ企業が国内最大規模の国産の生成AIを開発し、完成したと発表しました。アメリカの企業が先行するなか、日本語に特化する戦略で対抗するねらいです。 この生成AIは、基盤となる大規模言語モデルの学習量を示す「パラメータ数」が700億で、これまで各社が手がけた国産の生成AIとしては最大規模... 続きを読む

NEC、独自の日本語大規模言語モデルを開発　パラメータ数130億、クラウドで運用可能　性能も世界トップクラス

2023/07/06 17 users NEC クラウド 性能 運用 日本語大規模言語モデル

NECは、独自の日本語大規模言語モデル（LLM）を開発したと発表した。パラメータ数は130億で、クラウド／オンプレミス環境での運用も可能。性能面でも、世界トップクラスの日本語能力を実現しているという。 続きを読む

NEC、130億パラメータで世界トップクラスの日本語性能を有する軽量なLLMを開発

2023/07/06 18 users NEC Generative AI 生成AI 工夫 収集

NECは、Generative AI(生成AI)における日本語大規模言語モデル(Large Language Model、以下LLM)を開発しました。 本LLMは独自に収集・加工した多言語データを利用し、NECが開発した汎用的なモデル、いわゆるファウンデーションモデル(注1)です。独自の工夫により高い性能を実現しつつパラメータ数を130億に抑えた本LLMは... 続きを読む

グーグルの新AIモデル「PaLM2」、どれほどパフォーマンスが改善されたのか？ GPT4との比較 | AMP[アンプ] - ビジネスインスピレーションメディア

2023/06/18 5 users AMP Palm chatgpt アンプ グーグル

ChatGPTに対抗して、グーグルが新たなAIモデル「PaLM2」をリリースした。このモデルは、前モデルとなる「PaLM」よりも約5倍のテキストデータ（トークン）を学習に使用しつつも、そのサイズ（パラメータ数）は小さくなっており、より効率化されたモデルとしてテック界隈では話題となっている。 パラメータ数は、PaLMが540... 続きを読む

GPTを超える大規模言語アーキテクチャ「Hyena」とは何か？

2023/03/09 9 users GPT Transformer chatgpt GPT3 動作

GPTを超える大規模言語アーキテクチャ「Hyena」とは何か？：清水亮の「世界を変えるAI」（1/2 ページ） 広く使われているGPT3やChatGPTといったいわゆる「Transformer（トランスフォーマー）」というモデルは、パラメータ数が多く、しかも計算量が膨大であるため、利用料金が高い上に動作が遅いと言う問題がある。Hyena... 続きを読む

AWS Systems Manager パラメータストアは自動パラメータ階層の選択を可能にする intelligent-tiering を発表

2019/08/29 19 users パラメータストア AWS Systems Manager

本日、AWS Systems Manager パラメータストアは、自動パラメータ階層の選択を可能にする intelligent-tiering を発表しました。パラメータ数、値サイズ、パラメータポリシーのパターンが不明または変更がある場合、パラメータストアにスタンダードまたはアドバンスド階層の選択を許可するために intelligent-tiering 設... 続きを読む

ソニー、ディープラーニングの学習速度で“世界最高速”　学習時間を短縮へ - ITmedia NEWS

2018/11/13 55 users ディープラーニング ソニー 短縮 学習速度 世界最高速

ソニーは、ディープラーニングの学習速度で世界最高速を達成したと発表。学習時間を短縮できる可能性を示したとしている。 ソニーは11月13日、ディープラーニングの学習速度で世界最高速（同社調べ）を達成したと発表した。ディープラーニングの認識精度向上のため、学習データのサイズやモデルのパラメータ数が増え、一... 続きを読む

KDD読み会2014 発表資料

2014/09/23 11 users 発表資料 SGD 背景 傾向 ビッグデータ

KDD読み会2014 発表資料 Presentation Transcript Efficient Mini-batch Training for Stochastic Optimization @ KDD2014読み会 関西会場 京大石井研 M2 小山田創哲 @sotetsuk SGDと最近の傾向 ビッグデータと計算機性能の向上を背景に 膨大なパラメータ数の識別器を，大量のデータで SGD(St... 続きを読む