手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama｜note

2023/03/20 57 users masa_kazama LLM Note chatgpt 軽量

イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回... 続きを読む

Alpaca-loraを日本語タスクでファインチューニングする - Qiita

2023/03/19 9 users Qiita 日本語タスク

Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 本記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davin... 続きを読む