タグ「Google Colab」 - はてブログ

タグ Google Colab

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 39件)

Google Colab で Llama 3 のファインチューニングを試す｜npaka

2024/04/22 8 users ファインチューニング Meta Colab npaka とおり

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノー... 続きを読む

Google Colab で LLaMA-Factory を試す｜npaka

2024/01/02 12 users npaka WebUI LLM 動作とおり

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。サポートするモデルは、次のとおりです。サポートする学習法... 続きを読む

Google ColabでサクッとLLMを使ってみよう！ - RAKUS Developers Blog | ラクスエンジニアブログ

2023/12/26 16 users LLM Colaboratory ラクスリソース選定

はじめにこんにちは！今年も国内外様々な LLM(大規模言語モデル)が公開されましたね！ LLM の選定や調査・実験をする際、リソースの要求レベルが非常に高く、ローカル環境での実施はかなりハードルが高いですよね... そこで今回は、Google Colab（正式には Colaboratory）を利用して LLMを動かす方法を紹介します。サ... 続きを読む

Google Colab で Gemini Pro を試す｜npaka

2023/12/13 18 users 実行Colab Gemini API npaka パッケージ

「Google Colab」で「Gemini Pro」を試したので、まとめました。 1. Gemini Pro「Gemini Pro」は、Googleの最新AIモデルの1つです。「Gemini Pro」の最初のバージョンが、「Gemini API」で利用できるようになりました。 3. テキスト生成の実行Colabでのテキスト生成の実行手順は、次のとおりです。 (1) パッケージのイン... 続きを読む

Google Colab で OpenAI API の Code Interpreter を試す｜npaka

2023/11/11 8 users Python タスク API AIアシスタント npaka

「Google Colab」で「OpenAI API」の「Code Interpreter」を試したので、まとめました。前回 1. Code Interpreter「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。「Assistant API」は現在、次の3つのツールをサポートしています。・Code Interpreter : Python... 続きを読む

初めてでもできる！自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】

2023/10/01 25 users GPU 生成AI かんたんイニシャルB 自宅PC

生成AIグラビアをグラビアカメラマンが作るとどうなる？第七回：自分で始める環境作りとお薦め機材 / AUTOMATIC1111を動かしてみる (西川和久) | テクノエッジ TechnoEdge

2023/09/25 173 users リソース各社画像生成AI TechnoEdge 半年

半年ほど前までであればGoogle Colabと言うクラウドGPU環境が使え、無料でサクッと動かせたのだが、それが災いし、多くの人が生成AI画像目的で利用したため、リソースが足らなくなり、後述するAUTOMATIC1111は無料枠で使用禁止になってしまった。 AUTOMATIC1111をインストールして使ってみる画像生成AIは各社が提供して... 続きを読む

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka

2023/09/22 8 users npaka GPT-4 ベンチマーク動作 Pro+

「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用し... 続きを読む

Google ColabでOpen Interpreterを試してみた｜IT navi

2023/09/12 13 users Open Interpreter shell Python

Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができ... 続きを読む

漫画未経験のエンジニアが今のAIで漫画制作にトライしてみた記録2023年夏時点版｜Anno Takahiro

2023/08/16 529 users Stable Diffusion エンジニアプロトタイプ

画像生成AIの躍進が目覚ましい。エンジニア兼SF作家の筆者としては、AIが絵を描けるようになるのなら、絵が描けない自分でも漫画制作ができるようになるのではという期待があった。実際に2022年の末頃にはstable diffusionを使った漫画制作UIのプロトタイプを作ってみたこともある。 Google ColabでAI漫画制作用のUIを試... 続きを読む

Google Colab で Japanese StableLM Alpha を試す｜npaka

2023/08/10 5 users npaka 日本語LLM ベンチマーク動作 Pro+

「Google Colab」で「Japanese StableLM Alpha」を試したので、まとめました。【注意】Google Colab Pro/Pro+ のA100で動作確認しています。 1. Japanese StableLM Alpha「Japanese StableLM Alpha」は、「Stability AI Japan」は70億パラメータの日本語LLMです。ベンチマーク「lm-evaluation-harness」による複数の日... 続きを読む

Google Colab で Llama 2 + LangChain の RetrievalQA を試す｜npaka

2023/07/31 6 users Colab LangChain npaka 実行Colab

「Google Colab」で「Llama 2 + LangChain」の RetrievalQA を試したのでまとめました。 1. 使用モデル今回は、「Llama-2-7b-chat-hf」(4bit量子化)と埋め込みモデル「multilingual-e5-large」を使います。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハード... 続きを読む

OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

2023/05/25 11 users masuidrive LoRa fine tuning 対話

ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人... 続きを読む

オープンなLLMをDockerで動かす

2023/05/17 158 users LLM Docker ダウンロード

次々と発表されるオープンな日本語大規模モデルどうなっているの？？という感じですよね。我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいよなということでやってみました。以下GitH... 続きを読む

Googleの生成型AI「Bard」、コード生成とデバッグ可能に　20言語をサポート

2023/04/22 12 users Bard デバッグエクスポートコーディング Python

Googleは生成型AI「Bard」にコーディング支援機能を追加した。JavascriptやPythonを含む20以上の言語に対応する。Google Colabへのエクスポートやスプレッドシート関数作成も可能だ。米Googleは4月21日（現地時間）、会話形式で使える生成型AI「Bard」にコーディング（プログラミング）を支援する機能を追加したと発表... 続きを読む

Google Colab で GPT4ALL を試す｜npaka｜note

2023/04/05 5 users gpt4all npaka｜note Colab マウント

「Google Colab」で「GPT4ALL」を試したのでまとめました。 1. GPT4ALL「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAIです。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabノートブックを開く。 (2) Googleドライブのマウント。 Colabイン... 続きを読む

Google Colab で RWKV を試す｜npaka｜note

2023/03/27 10 users RWKV RNN VRAM npaka｜note プレミア

「Google Colab」で「RWKV」を試したので、まとめました。【注意】「RWKV」のチャットデモを実行するには、「Google Colab Pro/Pro+」の「プレミア」が必要です。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、無限の文脈長、自由な埋め込みを実現していま... 続きを読む

【西川和久の不定期コラム】ローカルで画像生成AIや大規模言語モデルを動かしたい！Google ColabからRTX 3070 Ti+GPU Boxへ乗り換え!?

2023/03/26 114 users RTX Box 西川和久不定期コラム画像生成AI

Stable Diffusion WebUIをGoogle Colabで使うノートブック【画像も設定も自動保存】 - ただいま村

2023/03/18 77 users WebUI GitHub ipynb GPU ただいま村

パソコンにGPUがない人向けに、AUTOMATIC1111版Stable Diffusion WebUI（以下SD/WebUI）をGoogle Colaboratoryで使うノートブックを作りました。下のGithubからどうぞ。 imamurayusuke/SD1111_colab: AUTOMATIC1111/Stable Diffusion WebUIをGoogle Colaboratoryで使うためのipynb この種のノートブックはいろいろあるの... 続きを読む

【西川和久の不定期コラム】「stable diffusion-webui」を無料のクラウド環境「Google Colab」で爆速で動かす！

2023/03/13 191 users 爆速西川和久不定期コラムクラウド環境無料

PythonでTableau風 BIツールによる視覚的データ探索をやってみよう〜PyGWalker〜 - Qiita

2023/02/24 209 users Qiita Tableau Python BIツール収集

はじめに Tableauはご存じでしょうか？私は使ったことはありませんが、名前だけはよく耳にします。これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場... 続きを読む

Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka｜note

2023/02/22 10 users ファインチューニングパラメータ少数 npaka｜note

1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをフ... 続きを読む

Google Colabで英語の論文を無料で翻訳する方法 - Qiita

2023/02/10 141 users Qiita gyakuse twitter.com PDF

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。今日は英語論文をサクッと翻訳する方法を共有します。素晴らしい事前学習済みモデルの恩恵で素人でも1時間程度で実装できてしまいます。なお、実装めちゃ汚いのですが、そのあたりはご容赦をください。概要翻訳モデル、レイアウト検知ライブラリとpdfを... 続きを読む

Google Colab で GPT-NEOX-20B による日本語テキスト生成を試す｜npaka｜note

2023/01/28 11 users npaka｜note プレミアムオープンソース Pro+

Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200... 続きを読む

破壊的でヤバいAI歌声合成「Diff-SVC」がGoogle Colabでの公開停止。一部ユーザーがセレブや商用音源を勝手に利用で自主制限（CloseBox） | テクノエッジ TechnoEdge

2023/01/23 280 users Diff-SVC CloseBox TechnoEdge

このDiff-SVCを簡単に実行できるGoogle ColabのNotebookが1月23日に公開停止となってしまったのです。ですので、前回紹介したやり方での実行はできなくなります。筆者はGoogle Colabからローカルにコピーしているのでこれまで通りに使えますが、新規に手軽にやろうという人への道は一時的にではありますが、閉ざされたこ... 続きを読む

(1 - 25 / 39件)

次の25件 »