タグ The Era of 1-bit LLMs
人気順 5 users 50 users 100 users 500 users 1000 users「1ビットLLM」の衝撃と可能性──「BitNet b1.58」はなぜ大きな注目を集めたのか？
2024/06/17
13 users
1ビットLLM
テクノロジー
衝撃
機械学習関連
注目
データのじかんトップ > 新着記事一覧 > テクノロジー > 「1ビットLLM」の衝撃と可能性──「BitNet b1.58」はなぜ大きな注目を集めたのか？ 2024年2月末、AI・機械学習関連で話題となったニュースといえば「1ビットLLM」の可能性でしょう。2月27日、『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits... 続きを読む
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
2024/02/29
22 users
足し算
Microsoft
abs
行列計算
リリース
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して... 続きを読む
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
2024/02/28
10 users
Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or B... 続きを読む