タグ「ファインチューニング」

タグファインチューニング

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 25件)

OpenAI、ファインチューニングAPI機能追加と「Custom Models Program」拡張を発表

2024/04/05 28 users OpenAI 拡張発表生成AIツール自社

OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、「Custom Models Program」の拡張とファインチューニングAPI向け6機能を発表した。ファインチューニングは... 続きを読む

ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物

2024/03/04 14 users ハルシネーション根絶禁物生成AI 人工知能

生成AI（人工知能）を業務活用する際に、ユーザー企業がつまずきがちなポイントを指摘する本特集。第2回は「ハルシネーションをなくすのは難しい」「生成AIを業務自動化に活用するのは難しい」「ファインチューニングは難しすぎる」の3つを取り上げよう。その4：ハルシネーションをなくすのは難しい生成AIが抱える課... 続きを読む

「生成AIツール for Excel」がGoogleの「Gemini」に対応～画像認識用の新関数も追加／「ChatGPT」のファインチューニングにも対応

2024/02/20 6 users GEMINI chatgpt Excel 新関数 Google

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users LoRa DORA 機械学習モデル再学習高いパフォーマンス

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

最低1枚の元写真があれば、高品質本人画像をすぐに生成できる「PhotoMaker」を試したらお手軽すぎた（CloseBox） | テクノエッジ TechnoEdge

2024/01/17 486 users CloseBox TechnoEdge テクノエッジ元写真

そんな中、テンセントがなかなか衝撃的な技術を発表しました。「PhotoMaker」という画像生成AIです。これでなければできない、というものではないのですが、「ファインチューニングの事前作成不要」「元画像が少なくても良い」のに、人物のアイデンティティを維持した画像を生成できるというメリットがあります。これま... 続きを読む

LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの

2023/11/28 18 users LLM Rag チャットボットセマンティック検索実装

第1　はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにす... 続きを読む

大規模言語モデルを選択→数秒後にAzure上で試せる「Models as a Service」登場　従量課金制の推論API、ファインチューニングも可能。

2023/11/17 9 users プレイグラウンド LangChain 推論API 探索モデル

カタログから選択すると数秒後には利用可能、従量課金制 Models as a Serviceでは、カタログからモデルを選択すると数秒でその大規模言語モデルに対する推論APIとファインチューニングが可能になります。開発者はすぐにプレイグラウンドでの大規模言語モデルの探索や、Prompt Flow、Sematic Kernel、LangChainなどのツ... 続きを読む

［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023

2023/11/08 144 users COPILOT GitHub ドキュメントカスタマイズ組織

GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕しました。 1日目の基調講演で、Copilotが組織のコードやドキュメントを学習することで、カスタマイズやファインチューニングが可能になる「GitHub Enterprise」が発表されました。 Copilot Enterpriseは、外部に公開されていない組織内のコード... 続きを読む

GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果

2023/10/16 12 users GPT Meta Llama OpenAI 脱獄

大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すこ... 続きを読む

【Zephyr 7b Alpha】ついにLlama 2を超えるLLM現る！HuggingFaceの最強AI | WEEL

2023/10/13 9 users HuggingFace WEEL 最強AI Llama 2

Zephyr 7b Alphaは、Hugging FaceがリリースしたMistral AIのMistral 7bのファインチューニングモデルで、なんと10倍ほどモデルサイズが大きいChat Llama 70Bと同等の性能を持っています。ファインチューニングで10倍の差を埋めるのはすごいですよね！今回は、Zephyr 7b Alphaの概要や仕組み、実際に使ってみた感想を... 続きを読む

LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた

2023/09/14 18 users LLM BOb シェイクスピア実験学習

三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて... 続きを読む

LLMのファインチューニングで何ができて何ができないのか｜npaka

2023/08/28 134 users LLM OpenAI npaka ファインドキュメント

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。ファイン... 続きを読む

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】

2023/08/28 8 users GUI プロンプトローカルLLM GPU CPU

概要ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。メイン読者ターゲットご家庭にGPUがある人（CPUでも良いが遅い）最適化だったり正しい理解ができてるかは別として、とりあ... 続きを読む

OpenAIが「GPT-3.5 Turbo」のファインチューニング機能をリリース、用途に合わせた独自のカスタマイズが可能に

2023/08/23 5 users OpenAI カスタマイズ chatgpt 用途リリース

対話型AIのChatGPTを開発したOpenAIが、2023年3月にリリースしたGPTモデルファミリー「GPT-3.5 Turbo」のファインチューニング(微調整)機能を発表しました。GPT-3.5 Turboをファインチューニングすることにより、「出力する言語を固定する」「応答の言葉遣いをブランドや企業のイメージに沿ったものにする」など、ユーザ... 続きを読む

APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能＆オープンソースでモデル・トレーニングデータが公開済み

2023/06/15 21 users GORILLA API 生成リアルタイム大規模言語モデル

GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利... 続きを読む

独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた

2023/05/31 8 users GPT ライブラリ言語モデル出力データセット

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行える... 続きを読む

LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ｜npaka

2023/05/13 21 users LLM LoRa RLHF npaka ツールキット

「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。現在サポートしている手法は、次の4つです。・LoRA ・Prefix Tuning ... 続きを読む

OpenAI APIのファインチューニングの学習データのガイドライン｜npaka｜note

2023/04/16 188 users プロンプト書式 Note 出力 OpenAI API

以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力「コンプリーション」のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の... 続きを読む

GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた〜プラグインとAPIとファインチューニング｜遠藤太一郎｜note

2023/04/11 14 users LLM GPT chatgpt API Note

GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた〜プラグインとAPIとファインチューニング最近、とにかく話題が尽きないChatGPTやLLM（大規模言語モデル）。毎日のように“できること”の情報がどんどんと更新されているので、追いかけるだけで精一杯！という方も多いのではないで... 続きを読む

Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka｜note

2023/02/22 10 users パラメータ少数 npaka｜note パッケージコスト

1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをフ... 続きを読む

TrOCRでファインチューニング - Qiita

2022/03/12 22 users Qiita

from transformers import AdamW from tqdm.notebook import tqdm optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(200): # loop over the dataset multiple times # train model.train() train_loss = 0.0 for batch in tqdm(train_dataloader): # get the inputs for k,v in batch.items(): batch... 続きを読む

(1 - 25 / 25件)