一貫したキャラクターAI動画生成が超簡単に。LoRAいらず、参照画像1枚だけでいいなんて（CloseBox） | テクノエッジ TechnoEdge

2024/09/11 11 users CloseBox TechnoEdge テクノエッジ

中国産の動画生成AI「Vidu」に、Reference to Videoという新機能が加わりました。AI動画生成でObject Consistency、つまり対象物の一貫性を保つことが可能になったのです。 動画生成AIサービス四天王のRunway Gen-3 Alpha、Luma Dream Machine、KLING、そしてViduはいずれもImage to Videoが可能です。 つまり、動画の始... 続きを読む

Stable DiffusionのLoRAのつくりかた｜RedRayz

2024/04/14 15 users Stable Diffusion つくりかた 前提 ガイド

はじめにこの記事は、初めてStable DiffusionのLoRAを作成する方に向けた解説です。わかりづらかったらすみません。 この解説ではSDXLベースのAnimagine-XL-3.1で二次元イラストのキャラクターのLoRAを作成します。 注意すでにWebUIの環境構築と生成ができていて生成に慣れている前提のガイドとなります。 Windows向けの... 続きを読む

生成AIを特定の絵柄に特化させる「LoRA」　著作権の考え方は？　弁護士が解説

2024/04/02 28 users 絵柄 嫌がらせ イラストレーター 生成AI 生成AI技術

3月中旬ごろ、生成AI技術の一つ「LoRA」とイラストレーターの立場を巡り、SNS上で議論が巻き起こった。ある漫画家がX上で「自分の絵柄を模倣したAIモデル（LoRA）が作られて、嫌がらせを受けている」と投稿。これを受け、自身の作品のファンアートを含めた二次創作を禁止すると宣言し、話題になった。 LoRAとは、AIモデ... 続きを読む

ＡＩ絵師さん、漫画家へのイヤガラセでLoRAを作成、他の絵師に成りすまし拡散、赤松議員「類似性を満たせば著作権侵害」相談窓口を設置

2024/03/21 31 users いやがらせ 絵師 拡散 AI絵師さん 著作権侵害

樋口紀信＠疫神のカルテ全3巻 @susujinkou 森川ジョージ様（@WANPOWANWAN） 島本和彦様（@simakazu） 両先生へ 商業漫画家の樋口紀信です 今回ご相談したい件は複雑な問題のため、両先生へ同時にご連絡させて頂きました 何卒ご容赦ください 相談の内容は『作家名を冠した絵柄LoRAによる嫌がらせ』についてです（1/8） ci... 続きを読む

画像生成AIで簡単にニセモノが作れるようになった結果作者が二次創作禁止を発表せざるを得ない事態に

2024/03/20 429 users ニセモノ 画像生成AI 事態 自著 申し訳

樋口紀信＠疫神のカルテ全3巻 @susujinkou 《読者の皆様へ》【二次創作禁止のお知らせ】 LoRAの話題から離れている間は全く平気なのですが、この話題になるとかなり辛いです。 申し訳ありませんが、『樋口紀信LoRA』を使われる可能性から、ファンアートを含めた自著の二次創作を一切禁止します。（続） 2024-03-20 16:47... 続きを読む

画像生成AIでオリジナルキャラのLoRAができたぞ〜〜〜！！！

2024/03/16 29 users オリジナルキャラ 画像生成AI ぞ〜〜

筆者は、オリジナルキャラクターを持っている。機田ゆんという。 通常、イラストレーターさんにキャラクターデザインを渡していろんな構図の機田ゆんのイラストを描いてもらっている。 常々、生成AIでキャラクターデザインを反映させてイラストを生成するにはどうしたらいいのだろうかと考えていた。 機田ゆんの髪型はボ... 続きを読む

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users DORA ファインチューニング 機械学習モデル 再学習 重み

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

(全体効果)Loraを2回混ぜるとどうなる？モデルの指を安定させる方法｜あいおえおえかきの

2023/12/09 17 users December 前々 おえかき モデル 効果

やっぱり同じLoraを2回入れると効果が高くなる気がする 強度1を1回じゃなくて、強度0.3を2回入れるみたいな感じ まだ研究が進んでないからなんとも言えないけどね — あいおえおえかきの (@NovelAIoekaki) December 9, 2023 このことは前々から気付いてはいましたが、新しいモデルを調整している時にはっきりと分かりまし... 続きを読む

大規模言語モデル(LLM)をLoRAで強化する際に役立つ情報を研究者が公開

2023/11/23 8 users LLM Low-Rank https 大規模言語モデル モデル

LoRAは画像生成モデルや大規模言語モデル(LLM)に追加の情報を学習させてモデルを微調整できる仕組みです。LoRAを用いてLLMを強化する際に役立つ情報をAI研究者のセバスチャン・ラシュカ氏が解説しています。 Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation) https://magazine.sebastianraschka.co... 続きを読む

世界トップ級の画像生成AI「Midjourney」更に強力に。ライバル「Stable Diffusion」との違いもはっきり (1/3)

2023/11/19 8 users Midjourney 画風 ライバル 画像生成AI ユーザー

11月2日、画像生成AI「Midjourney」に新機能「スタイルチューナー（Style Tuner）」が追加されました。この機能で、ユーザー独自の画風を作成して登録して活用できます。競合するAI「Stable Diffusion」の「LoRA」と類似した機能ですが、より手軽に扱えるよう工夫されています。 使用方法は簡単です。MidjourneyはDiscor... 続きを読む

motemen, antipop(kentarok) 氏の特徴学習済み lora ファイル - hotchpotch セコン📝

2023/10/30 7 users セコン LOR sharing motemen antipop

@motemen, @kentaro 氏の画像10枚ちょいから、SD1.5, SDXL で学習させた その lora の重みを、当人から許可を得て公開。みんなで motemen さんや antipop さんの画像を生成しよう！ https://drive.google.com/drive/folders/1q5LrmTLAzJywQVNJdQ_PWHqv00KcUdPa?usp=sharing XLがsdxl用、15がSD1.5用 man antipop01, <lor... 続きを読む

生成AIグラビアをグラビアカメラマンが作るとどうなる？第11回：Stable Diffusion 1.5の注目ModelやLoRAを紹介+α版 (西川和久) | テクノエッジ TechnoEdge

2023/10/25 86 users TechnoEdge グラビアカメラマン 西川和久 紹介

ここのところ、生成AI画像環境構築やアプリの使い方などで3回、顔LoRA制作…と少し重いネタが続いたので、今回は軽めの気になるModelやLoRAを作例と共にご紹介したい。 続きを読む

SDXLでコピー機学習法を試す｜Kohya S.

2023/09/10 8 users SDXL 手法 過学習 コピー機 成功

はじめにコピー機学習法は、LoRAを教師画像と同様の画像しか出力されないレベルまで過学習し（コピー機と呼ばれる理由です）、そこから目的のLoRAを取り出す手法です。詳細は以下の月須和・那々氏の記事をご覧ください。 今回、SDXLでコピー機学習法を試してみました。品質的にはいまひとつですが、一応成功はしましたの... 続きを読む

画像生成AI「Stable Diffusion」に「悪い例を集めたLoRA」を組み合わせて高品質な画像を生成する手法が登場、簡単に試せるデモも公開されたので試してみた

2023/08/23 39 users Stable Diffusion マックス デモ 既存 手法

2023年7月に公開された「Stable Diffusion XL 1.0(SDXL 1.0)」は既存のStability AI製モデルと比べて高品質な画像を生成できるだけでなく、LoRAによる生成画像の調整にも対応しています。データサイエンティストのマックス・ウルフ氏は「悪い例」を集めて作成したLoRAを用いてSDXL 1.0による生成画像の品質をさらに向上... 続きを読む

生成AIグラビアをグラビアカメラマンが作るとどうなる？第六回：Stable Diffusionの基本2 / LoRAの概要と6つの例を紹介 (西川和久) | テクノエッジ TechnoEdge

2023/08/22 113 users TechnoEdge グラビアカメラマン 西川和久 概要 自前

LoRAとは前回はモデルの1つであるCheckpointについていろいろお話した。今回はStable Diffusionが扱えるモデルの中で次によく使われるLoRAについてがお題となる。 連載の第一回では、自前で撮影した実在モデルの写真を学習させた専用のCheckpointを作り、そちらで生成した作例をいくつか掲載した。 これはCheckpoint自体... 続きを読む

Stable Diffusion から特定の概念を忘れさせる学習を行ってみる

2023/06/29 138 users Stable Diffusion 概念 特定 学習 重み

TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことが... 続きを読む

【Stable Diffusion】epiCRealismの利用方法

2023/06/27 5 users Stable Diffusion 動作確認 おすすめ 上記

「LoRAのepi_noiseoffsetにお世話になっている」 「写真のようにリアルな画像を生成したい」 このような場合には、epiCRealismがオススメです。 この記事では、epiCRealismについて解説しています。 本記事の内容 epiCRealismとは？epiCRealismの利用方法epiCRealismの動作確認 それでは、上記に沿って解説していきます。 続きを読む

AI作品の販売に特化したサービス登場　LoRAやプロンプトも対象　二次利用で収益還元の仕組みも

2023/06/02 24 users petapi プロンプト ジアン 収益還元 AI生成コンテンツ

クリエイター支援業のシアンが、AIを活用するクリエイター向け作品投稿サイト「petapi」のβ版を公開した。AI生成コンテンツを販売できる他、将来的にはLoRAモデルやプロンプトも販売できるようにする。 クリエイター支援業のシアン（東京都渋谷区）は5月30日、AIを活用するクリエイター向け作品投稿サイト「petapi」のβ... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users CyberAgent Transformers rinna

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

2023/05/25 11 users masuidrive fine tuning LLM 対話

ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。 とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人... 続きを読む

LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ ｜npaka

2023/05/13 21 users LLM ファインチューニング RLHF npaka 手法

「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ... 続きを読む

Stable Diffusionでハイクオリティなリアル系イラストを生成できるモデル、LoRAを紹介 | Murasan Lab

2023/04/23 528 users StableDiffusion ハイクオリティ 実写 モデル

今回はStable Diffusionでリアル系イラストを生成できるモデル、LoRAを紹介します。どのモデル、LoRAも実写と見分けがつかないほどハイクオリティなイラストを生成できますので、ぜひ試してみてください。 Stable Diffusionのアニメ調モデルについては、以下の記事で紹介しています。 あわせて読みたい StableDiffusion... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users Low-Rank Fine-tuning パラメータ 変遷

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

kohya版LoRA初心者教本　服を着せ替えできる高性能キャラLoRAをつくろう！｜かたらぎ｜note

2023/04/14 15 users WebUI Stable Diffusion キャラクター

AI（Stable Diffusion WebUI）で画像生成をしていると意外と言うことを聞いてくれないということがよくありますよね。例えばキャラクターの髪や目や服の色がまちまちだったり、そもそもうまく出せなかったり……そんな悩みを解消するのが今日ご紹介するLoRAというわけです。 そもそもLoRAって何？　簡単に言えば素材となる... 続きを読む

上原亜衣、AI化　画像生成AIに元セクシー女優を学習させたデータを無料配布

2023/04/04 661 users Stable Diffusion 上原亜衣さん 上原亜衣

元セクシー女優の上原亜衣さんが、AIを活用したプロジェクト「AI uehara project」を3月19日に発表しました。 「AI uehara project」は、上原亜衣さんの名前（＝亜衣）とAIを掛け、「上原亜衣、AI化」を掲げて始動したプロジェクト。 上原亜衣さんの写真を画像生成AI「Stable Diffusion」に追加学習させるLoRAファイルが... 続きを読む