OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

2023/05/25 11 users LoRa masuidrive LLM 対話

ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。 とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人... 続きを読む

Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics

2023/01/16 15 users FAQ Taste of Tech Topics

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そん... 続きを読む

少ない画像から画像分類を学習させる手順（kerasでfine tuningを使用）

2017/08/21 129 users Keras ディープラーニング 枚数 フルーツ 学習手法

「フルーツの画像を判別するモデルをを作ってくれませんか？」 と言われた時に、どのようにモデルを作りますか？ ディープラーニングで画像分類を行う場合、通常畳み込みニューラルネットワークという学習手法を使いますが、画像の枚数によっては数週間程度がかかってしまいます。 また、学習に使用する画像の枚数も大量に用意しないといけません。 では、短時間・少ない画像から画像を分類するモデルを作るにはどうすればよい... 続きを読む