1BitLLMの実力を見る｜shi3z

2024/04/17 17 users shi3z 実力 LLM 一読 1bit

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、こ... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users rinna LoRa Transformers GPUメモリ

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

ChatGPTの対抗馬としてオープンソースの対話型AIチャット「HuggingChat」をHuggingFaceがリリース

2023/04/26 11 users chatgpt クローズドソース OpenAI 対抗馬 開発

現地時間の2023年4月25日に機械学習アプリケーション構築ツールを手がけるHuggingFaceが、OpenAIが開発する対話型AIチャット「ChatGPT」のライバルとなる対話型AIチャットの「HuggingChat」を立ち上げたことを発表しました。HuggingChatはクローズドソースのChatGPTと異なり、オープンソースでの開発が行われています。 ... 続きを読む

GitHub - huggingface/diffusion-models-class: Materials for the Hugging Face Diffusion Models Course

2022/12/28 10 users GitHub

A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch? 続きを読む

画像生成AI「Stable Diffusion」がオープンソース化　商用利用もOK

2022/08/23 134 users Stable Diffusion 英Stability

AIスタートアップ企業の英Stability AIは、画像生成AI「Stable Diffusion」をオープンソース化した。AI技術者向けコミュニティサイト「HuggingFace」でコードやドキュメントを公開した他、同AIを試せるデモサイトなども公開している。 AIスタートアップ企業の英Stability AIは8月22日（現地時間）、画像生成AI「Stable D... 続きを読む

AIチャットボット「りんな」を手がけるrinnaが日本語特化のGPT-2大規模言語モデルをオープンソース化 | TechCrunch Japan

2021/04/08 20 users rinna りんな AIチャットボット GitHub モデル

AIチャットボット「りんな」などを手がけるrinna（リンナ）は4月7日、日本語に特化したGPT-2の大規模言語モデルを構築し、GitHubおよびNLPモデルライブラリー「HuggingFace」において、トレーニングコードと言語モデルをオープンソースソフトウェアとして公開した。 また今回公開したモデルは、GPT2-mediumと定義される... 続きを読む