タグ「ファインチューニング」

タグファインチューニング

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 18 / 18件)

OpenAI、ファインチューニングAPI機能追加と「Custom Models Program」拡張を発表

2024/04/05 28 users OpenAI 拡張発表生成AIツール自社

OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、「Custom Models Program」の拡張とファインチューニングAPI向け6機能を発表した。ファインチューニングは... 続きを読む

ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物

2024/03/04 14 users ハルシネーション根絶禁物生成AI 人工知能

生成AI（人工知能）を業務活用する際に、ユーザー企業がつまずきがちなポイントを指摘する本特集。第2回は「ハルシネーションをなくすのは難しい」「生成AIを業務自動化に活用するのは難しい」「ファインチューニングは難しすぎる」の3つを取り上げよう。その4：ハルシネーションをなくすのは難しい生成AIが抱える課... 続きを読む

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users LoRa DORA 機械学習モデル再学習高いパフォーマンス

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

最低1枚の元写真があれば、高品質本人画像をすぐに生成できる「PhotoMaker」を試したらお手軽すぎた（CloseBox） | テクノエッジ TechnoEdge

2024/01/17 486 users CloseBox TechnoEdge テクノエッジ元写真

そんな中、テンセントがなかなか衝撃的な技術を発表しました。「PhotoMaker」という画像生成AIです。これでなければできない、というものではないのですが、「ファインチューニングの事前作成不要」「元画像が少なくても良い」のに、人物のアイデンティティを維持した画像を生成できるというメリットがあります。これま... 続きを読む

LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの

2023/11/28 18 users LLM Rag チャットボットセマンティック検索実装

第1　はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにす... 続きを読む

［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023

2023/11/08 144 users COPILOT GitHub ドキュメントカスタマイズ組織

GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕しました。 1日目の基調講演で、Copilotが組織のコードやドキュメントを学習することで、カスタマイズやファインチューニングが可能になる「GitHub Enterprise」が発表されました。 Copilot Enterpriseは、外部に公開されていない組織内のコード... 続きを読む

GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果

2023/10/16 12 users GPT Meta Llama OpenAI 脱獄

大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すこ... 続きを読む

LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた

2023/09/14 18 users LLM BOb シェイクスピア実験学習

三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて... 続きを読む

LLMのファインチューニングで何ができて何ができないのか｜npaka

2023/08/28 134 users LLM OpenAI npaka ファインドキュメント

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。ファイン... 続きを読む

APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能＆オープンソースでモデル・トレーニングデータが公開済み

2023/06/15 21 users GORILLA API 生成リアルタイム大規模言語モデル

GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利... 続きを読む

LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ｜npaka

2023/05/13 21 users LLM LoRa RLHF npaka ツールキット

「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。現在サポートしている手法は、次の4つです。・LoRA ・Prefix Tuning ... 続きを読む

OpenAI APIのファインチューニングの学習データのガイドライン｜npaka｜note

2023/04/16 188 users プロンプト書式 Note 出力 OpenAI API

以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力「コンプリーション」のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の... 続きを読む

GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた〜プラグインとAPIとファインチューニング｜遠藤太一郎｜note

2023/04/11 14 users LLM GPT chatgpt API Note

GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた〜プラグインとAPIとファインチューニング最近、とにかく話題が尽きないChatGPTやLLM（大規模言語モデル）。毎日のように“できること”の情報がどんどんと更新されているので、追いかけるだけで精一杯！という方も多いのではないで... 続きを読む

Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka｜note

2023/02/22 10 users パラメータ少数 npaka｜note パッケージコスト

1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをフ... 続きを読む

TrOCRでファインチューニング - Qiita

2022/03/12 22 users Qiita

from transformers import AdamW from tqdm.notebook import tqdm optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(200): # loop over the dataset multiple times # train model.train() train_loss = 0.0 for batch in tqdm(train_dataloader): # get the inputs for k,v in batch.items(): batch... 続きを読む

Python - Chainerでファインチューニングするときの個人的ベストプラクティス - Qiita

2015/12/26 61 users Qiita Chainer ベストプラクティス Python

メリークリスマス！！！！ @tabe2314 です。この記事では、明日から使えるChainerテクニックとして、既存モデルをファインチューンして新しいモデルをつくる際の個人的なベストプラクティスを紹介します。ニューラルネットを学習するために、別の問題、別のデータセットで学習済みのモデルのパラメータをコピーして、それを新しいニューラルネットのパラメータの初期値として使うことをファインチューニング... 続きを読む

スマホを高性能オーディオレコーダーに変えるShureの新型マイク « WIRED.jp

2015/01/09 46 users Shure iPhone インタヴュー各種パラメータ空間

2015.1.9 FRI スマホを高性能オーディオレコーダーに変えるShureの新型マイク Shure社が「CES 2015」で発表した新製品「MV88」は、iPhoneを高性能オーディオレコーダーに変えてくれる外部マイクロフォンだ。無料アプリを使って各種パラメータのファインチューニングもできる。ヴォイスメモを残したり、小さく静かな空間でのインタヴューを録音したりするくらいなら、iPhone や... 続きを読む

(1 - 18 / 18件)