OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

2023/05/25 11 users masuidrive LoRa fine tuning 対話

ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。 とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人... 続きを読む

colab-sshを使って、VS CodeからGoogle Colabに接続してみよう：Visual Studio Codeで快適Pythonライフ（1/2 ページ） - ＠IT

2021/09/02 11 users 快適Pythonライフ Google Colab ページ

colab-sshを使って、VS CodeからGoogle Colabに接続してみよう：Visual Studio Codeで快適Pythonライフ（1/2 ページ） Google Colab上のノートブックにcolab-sshモジュールをインストールして、そこへVS CodeからSSH接続する方法を紹介します。 続きを読む

Google Colab上で秘匿情報を安全に使うために、Google Cloud Secret Managerを使う

2021/04/17 16 users 秘匿情報

やりたいこと kaggleなどのコンペ参加時にColabで計算して、wandbなどの実験管理ツールを使いたい。 現状wandbなどのAPI keyが生のままColabに貼っているので、そのままgithubにpushできない。 driveにtxtやyamlファイルを置いて管理すると、自分の性格上散らかすと分かっているので、GCPのサービスを使ってバージョンを... 続きを読む