ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由

2023/02/27 610 users chatgpt 知性 ゲームチェンジャー 冒頭 人工知能

ChatGPTの振る舞いをみると、まさに｢人工知能｣という印象があるが、その構造を知ると、知性を生み出すことを狙ったものではないことが見えてくる 作成：Business Insider Japan 冒頭に書いたとおり、深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 Facebook AI Research改めFoundamental AI ... 続きを読む

自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

2023/02/26 274 users chatgpt Docker Linux 要領 WSL2

OSはLinuxを使いました。多分WindowsのWSL2でも同じ要領で動くと思います。私は試していませんが、動作例を参考リンクにのせたので興味ある方はそちらを参照ください。 Docker/NVIDIA Dockerをインストールします。インストール方法は以下記事を参照ください。 FlexGenをセットアップ FlexGenをDockerで使ってみたという... 続きを読む

単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場

2023/02/21 20 users ＡＩアクセラレーター GPU gpt-3 単体 メモリ

GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました... 続きを読む

GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems.

2023/02/20 7 users License GitHub GPU

Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. License 続きを読む