タグ「ファインチューニング」

タグファインチューニング

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 32件)

OpenAIのGPT-4oに「画像でファインチューニングする機能」が追加される、わずか100枚の画像でタスクの性能が向上

2024/10/02 9 users OpenAI タスク GPT-4o 性能向上

OpenAIが2024年5月にリリースしたAIモデル「GPT-4o」に、2024年10月1日から「画像でファインチューニングする機能」が追加されました。すでにテキストでGPT-4oをファインチューニングする機能は提供されていましたが、画像でのファインチューニングが可能になったことで、視覚検索やオブジェクト検出などの機能を向上さ... 続きを読む

GPT-4o-miniのファインチューニングのすゝめ

2024/08/21 20 users GPT-4o-mini すゝめ幻滅期出力感想

突然ですが、みなさんLLMのファインチューニングしていますか？個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待し... 続きを読む

OpenAI、「GPT-4o」でもファインチューニング可能に

2024/08/20 20 users LLM OpenAI 米OpenAI GPT-4o 学習

米OpenAIは8月20日（現地時間）、マルチモーダルAIモデル「GPT-4o」のファインチューニングの提供を開始したと発表した。すべての有料利用レベルのすべての開発者が利用できる。ファインチューニングとは、LLMに独自のデータを追加で学習させ、新たな知識を持つモデルを作り出す技術。例えば企業独自の内部データを学習... 続きを読む

RAG vs ファインチューニング（コーディング性能で比較）

2024/07/09 17 users DSL 門脇 RAGシステム生成AI 論文

はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、「RAG vs ファインチューニング」について、DSL（ドメイン固有言語）をコーディングする性能という観点から比較した論文を、ざっくりまとめます。この記事は何この記事は、RAG vs ファインチューニング... 続きを読む

生成AIを賢くするには「メガプロンプト」がお勧め、ファインチューニングは有害？

2024/05/30 17 users LLM プロンプト米OpenAI 生成AI 人工知能

生成AI（人工知能）の活用においては、大規模言語モデル（LLM）に与えるプロンプト（指示文）の工夫が重要だ。最新の研究で、プロンプトは長く詳細であるほど良好な結果が得られることが分かっており「メガプロンプト（巨大プロンプト）」という言葉すら登場しているほどだ。 LLMに与えるプロンプトというと、米OpenAI（... 続きを読む

Google Colab で Llama 3 のファインチューニングを試す｜npaka

2024/04/22 8 users Meta Colab npaka とおり動作

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノー... 続きを読む

OpenAI、ファインチューニングAPI機能追加と「Custom Models Program」拡張を発表

2024/04/05 28 users OpenAI 拡張発表生成AIツール自社

OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、「Custom Models Program」の拡張とファインチューニングAPI向け6機能を発表した。ファインチューニングは... 続きを読む

ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物

2024/03/04 14 users ハルシネーション根絶禁物生成AI 人工知能

生成AI（人工知能）を業務活用する際に、ユーザー企業がつまずきがちなポイントを指摘する本特集。第2回は「ハルシネーションをなくすのは難しい」「生成AIを業務自動化に活用するのは難しい」「ファインチューニングは難しすぎる」の3つを取り上げよう。その4：ハルシネーションをなくすのは難しい生成AIが抱える課... 続きを読む

「生成AIツール for Excel」がGoogleの「Gemini」に対応～画像認識用の新関数も追加／「ChatGPT」のファインチューニングにも対応

2024/02/20 6 users GEMINI chatgpt Excel 新関数 Google

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users LoRa DORA 機械学習モデル再学習高いパフォーマンス

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

最低1枚の元写真があれば、高品質本人画像をすぐに生成できる「PhotoMaker」を試したらお手軽すぎた（CloseBox） | テクノエッジ TechnoEdge

2024/01/17 486 users CloseBox TechnoEdge テクノエッジ元写真

そんな中、テンセントがなかなか衝撃的な技術を発表しました。「PhotoMaker」という画像生成AIです。これでなければできない、というものではないのですが、「ファインチューニングの事前作成不要」「元画像が少なくても良い」のに、人物のアイデンティティを維持した画像を生成できるというメリットがあります。これま... 続きを読む

LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの

2023/11/28 18 users LLM Rag LLM技術チャットボットセマンティック検索

第1　はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにす... 続きを読む

大規模言語モデルを選択→数秒後にAzure上で試せる「Models as a Service」登場　従量課金制の推論API、ファインチューニングも可能。

2023/11/17 9 users プレイグラウンド LangChain 推論API 探索モデル

カタログから選択すると数秒後には利用可能、従量課金制 Models as a Serviceでは、カタログからモデルを選択すると数秒でその大規模言語モデルに対する推論APIとファインチューニングが可能になります。開発者はすぐにプレイグラウンドでの大規模言語モデルの探索や、Prompt Flow、Sematic Kernel、LangChainなどのツ... 続きを読む

［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023

2023/11/08 144 users COPILOT GitHub ドキュメントカスタマイズ組織

GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕しました。 1日目の基調講演で、Copilotが組織のコードやドキュメントを学習することで、カスタマイズやファインチューニングが可能になる「GitHub Enterprise」が発表されました。 Copilot Enterpriseは、外部に公開されていない組織内のコード... 続きを読む

GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果

2023/10/16 12 users GPT Meta Llama OpenAI 脱獄

大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すこ... 続きを読む

【Zephyr 7b Alpha】ついにLlama 2を超えるLLM現る！HuggingFaceの最強AI | WEEL

2023/10/13 9 users HuggingFace WEEL 最強AI Llama 2

Zephyr 7b Alphaは、Hugging FaceがリリースしたMistral AIのMistral 7bのファインチューニングモデルで、なんと10倍ほどモデルサイズが大きいChat Llama 70Bと同等の性能を持っています。ファインチューニングで10倍の差を埋めるのはすごいですよね！今回は、Zephyr 7b Alphaの概要や仕組み、実際に使ってみた感想を... 続きを読む

LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた

2023/09/14 18 users LLM BOb シェイクスピア実験学習

三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて... 続きを読む

LLMのファインチューニングで何ができて何ができないのか｜npaka

2023/08/28 134 users LLM OpenAI npaka ファインドキュメント

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。ファイン... 続きを読む

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】

2023/08/28 8 users GUI ローカルAI プロンプトローカルLLM GPU

概要ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。メイン読者ターゲットご家庭にGPUがある人（CPUでも良いが遅い）最適化だったり正しい理解ができてるかは別として、とりあ... 続きを読む

OpenAIが「GPT-3.5 Turbo」のファインチューニング機能をリリース、用途に合わせた独自のカスタマイズが可能に

2023/08/23 5 users OpenAI カスタマイズ chatgpt 用途リリース

対話型AIのChatGPTを開発したOpenAIが、2023年3月にリリースしたGPTモデルファミリー「GPT-3.5 Turbo」のファインチューニング(微調整)機能を発表しました。GPT-3.5 Turboをファインチューニングすることにより、「出力する言語を固定する」「応答の言葉遣いをブランドや企業のイメージに沿ったものにする」など、ユーザ... 続きを読む

APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能＆オープンソースでモデル・トレーニングデータが公開済み

2023/06/15 21 users GORILLA API 生成リアルタイム大規模言語モデル

GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利... 続きを読む

独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた

2023/05/31 8 users GPT ライブラリ言語モデル出力データセット

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行える... 続きを読む

LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ｜npaka

2023/05/13 21 users LLM LoRa RLHF npaka ツールキット

「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。現在サポートしている手法は、次の4つです。・LoRA ・Prefix Tuning ... 続きを読む

(1 - 25 / 32件)

次の25件 »