4兆個のトランジスタを搭載した世界最速のAIチップ「WSE-3」をCerebrasが発表

2024/03/14 11 users Qualco トランジスタ ボトルネック AIチップ 世界最速

AI向けコンピューターシステムを構築するスタートアップのCerebrasが、4兆個のトランジスタを搭載した世界最速のAIチップ「WSE-3(Third Generation 5nm Wafer Scale Engine：第3世代5nmウェハスケールエンジン)」を発表しました。この他、AI運用におけるボトルネックとなるコストパフォーマンスを改善するために、Qualco... 続きを読む

日本語が通る大規模言語モデルCerebras-GPTを動かす - きしだのHatena

2023/03/31 8 users きしだのHatena スクリプト ライセンス https

またなんか大規模言語モデルが公開されてましたね。 ということで、Cerebrasが公開したモデルを動かしてみます。日本語が通る感じ。 商用利用可能というライセンスなども含めて、一番使いやすい気がします。 https://huggingface.co/cerebras ここでいろいろやってるようだけど、モデルを動かすスクリプトはありません。... 続きを読む

Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras

2023/03/29 9 users Large Language Models

Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models Cerebras open sources seven GPT-3 models from 111 million to 13 billion parameters. Trained using the Chinchilla formula, these models set new benchmarks for accuracy and compute efficiency. Abstract State-of-the-art languag... 続きを読む

オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に

2023/03/29 209 users OpenAI DeepMind GPTベース gpt-3

AI企業のCerebrasが、オープンソースでパラメータ数1億1100万～130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低... 続きを読む

Cerebras、85万コアのウェハサイズプロセッサ「WSE-2」 - PC Watch

2021/04/22 9 users PC Watch

続きを読む

ウェハースケールCPUの誕生――Cerebrasのクレイジーな挑戦：インタビュー｜gihyo.jp … 技術評論社

2020/01/31 8 users gihyo.jp インタビュー 技術評論社 誕生 挑戦

2019年11月，スパコン（スーパーコンピュータ）のトップカンファレンスであるSC19で，小形のAI専用スパコンがデビューをはたしました。「⁠CS-1」と名付けられたそのマシンは，ウェハースケール，つまり30cmシリコンウェハーを一枚まるごと使った巨大なCPUをもち，その広大な領域に埋め込まれた40万ものコアに，ターゲッ... 続きを読む

【後藤弘茂のWeekly海外ニュース】Cerebrasが開発したウェハサイズの深層学習チップ - PC Watch

2019/08/27 36 users 後藤弘茂 Weekly海外ニュース PC Watch

続きを読む

215mm角のCerebrasの巨大マシンラーニングエンジン - Hot Chips 31 (1) 史上最大級の半導体チップ | マイナビニュース

2019/08/27 10 users 度肝 半導体チップ 学会 米国 最先端

2019年8月に米国にて開催された最先端のLSIチップに関するトップレベルの学会「Hot Chips 31」での多数あった発表の中でもっとも度肝を抜かれたのはCerebrasの「Wafer Scale Deep Learning」という発表である。 発表を行ったのはCerebrasの創立者の1人でチーフハードウェアアーキテクトを務めるSean Lie氏である。 Cereb... 続きを読む