マルチモーダル画像生成AI「OmniGen」登場、1つのモデルで「ポーズ指定生成」「画像内の物体置換」「被写体指定生成」などが可能

2024/11/02 9 users Stable Diffusion 画像生成AI 実行可 作業

広く使われている画像生成AIのStable Diffusionは「ControlNetを組み合わせてポーズ抽出やポーズ指定生成を実行する」「IP-Adapterを組み合わせて類似画像を生成する」といったように拡張機能を用いて多様な作業を実行できます。「OmniGen」はControlNetなどの拡張機能を使わず単一のモデルだけで多様な生成作業を実行可... 続きを読む

【西川和久の不定期コラム】 話題のFLUX.1をComfyUIで画像生成してみる！基本系とControlNetのWorkflow(json)公開

2024/08/26 6 users workflow JSON ComfyUI 西川和久 話題

続きを読む

イラストの手書き証明が不可能に？　“絵の制作過程”動画を生成するAI　米スタンフォード大の研究者が発表

2024/07/09 208 users 米スタンフォード大 制作過程 イラスト 発表 動画

PaintsUndoを作成したのは米スタンフォード大学に在籍する研究者のルーミン・チャンさんで、GitHub上でこのプログラムも公開している。チャンさんは「lllyasviel」のハンドルネームで活動しており、自由なポーズをとったキャラクターのAIイラストを生成できる技術「ControlNet」の開発者としても知られている。 チャンさ... 続きを読む

生成AIグラビアをグラビアカメラマンが作るとどうなる？第24回：照明を自由にコントロールできるIC-Light登場！(西川和久) | テクノエッジ TechnoEdge

2024/05/14 14 users TechnoEdge グラビアカメラマン コントロー 照明

lllyasviel氏復活第一弾のIC-Light前回(第23回)にControlNetやFooocus、stable diffusion webui forgeを作ったlllyasviel氏、ここ数ヶ月Xなどに書き込みが無いと書いたが、いきなり驚くべき仕掛けを提げての復活。その名もIC-Light(Imposing Consistent Light)。Stable Diffusionの技術を使って、照明を自由にコントロー... 続きを読む

光源を指定して画像の背景を違和感なく変更できる生成AIツール「IC-Light」をControlNetの作者が公開したので使ってみた

2024/05/10 17 users GitHub lllyasviel github.com

ControlNetの開発者として知られるLvmin Zhang氏が、画像の光源の位置や光源の種類を自由に指定できる画像編集AIツール「IC-Light」を公開しました。 GitHub - lllyasviel/IC-Light: More relighting! https://github.com/lllyasviel/IC-Light IC-Lightは画像の光源の種類や位置を指定しつつ背景を別物に置き換えられるA... 続きを読む

生成AIグラビアをグラビアカメラマンが作るとどうなる？第21回：ComfyUI応用編。ControlNetでポーズ・構図を指定する (西川和久) | テクノエッジ TechnoEdge

2024/03/31 11 users TechnoEdge グラビアカメラマン ComfyUI

現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第21回は、画像生成モデル Stable Diffusionの最新技術がいち早く試せるインターフェース 『ComfyUI』 の応用編。 写真や線画をもとに構図やポーズを指定できる『ControlNet』の具体的な使い方を解説してゆきます。 『生成AIグラビ... 続きを読む

グラボを買い替えずとも画像生成AIの実行速度を高速化できる「Stable Diffusion WebUI Forge」を実際にインストールして生成速度を比較してみた

2024/03/04 10 users WebUI Forge グラボ ユーザーインターフェース

画像生成AI「Stable Diffusion」には、有志が作成したユーザーインターフェースが複数用意されています。「Stable Diffusion WebUI Forge」はControlNetの開発者であるLvmin Zhang氏が開発したユーザーインターフェースで、広く使われている「Stable Diffusion web UI(AUTOMATIC1111版)」と比べて画像を高速に生成できる... 続きを読む

画像生成AI、安いPCでも高速に　衝撃の「Stable Diffusion WebUI Forge」 (1/4)

2024/02/25 595 users WebUI Forge Stable Diffusion

Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発... 続きを読む

SD用快速webUI「Forge」公開！A1111版とどこが違う？導入と実践｜スタジオ真榊【AIイラスト術解説】｜pixivFANBOX

2024/02/07 15 users イリヤスフィール Forge pixivFANBOX 連日

こんにちは、スタジオ真榊です。支援者の皆様には連日、プロンプト超辞典の枝記事が生成されるたびに更新通知が行ってしまっているのではないかと思います。ご迷惑をおかけしておりますが、あと3分の1ほどで終わりますのでどうかご容赦ください。 さて、今日はControlnetの開発者lllyasviel（イリヤスフィール）氏が公開... 続きを読む

無料お絵描きアプリ「Krita」に画像生成AIを組み込んで落書きから美麗イラストを作成する方法まとめ、Stable DiffusionとControlNetをコマンドなしでサクッと導入可能

2023/11/21 33 users Krita Stable Diffusion 落書き ＡＣＬ

無料かつ高機能なペイントアプリ「Krita」に画像生成AI「Stable Diffusion」を組み込むプラグインが「krita-ai-diffusion(AI Image Diffusion)」です。Generative AI for Kritaを使えば落書きのような下描き画像から美麗イラストを生成できるとのことなので、インストール手順や使い方をまとめてみました。 GitHub - Acl... 続きを読む

生成AIグラビアをグラビアカメラマンが作るとどうなる？第九回：Fooocus-MREでimage-2-imageやControlNetを試す (西川和久) | テクノエッジ TechnoEdge

2023/10/11 157 users ジェネレーティブ TechnoEdge グラビアカメラマン

今回はそれだけでは面白く無いので、元画像を絵柄そのまま高精細なフルHDにアップスケールしたい、もしくはそのまま使って絵を変えたい、構図やポーズをある程度固定したい、Photoshopのジェネレーティブ塗りつぶし的な機能は？…と言った、もう少しStable Diffusionっぽい使い方を順に説明する。 image-2-image / Upscal... 続きを読む

WebUIのAnimateDiffに複数画像のControlNetを適用する｜TDS_

2023/09/16 10 users WebUI AnimateDiff ＴＤＳ 複数画像

タイトル通りの内容です 整備はしたいのですがまだまだ自分向けという感じのコードです WebUI1.6で動作を確認しています 今回は、hook.pyとcontrolnet.pyを修正しています。 また、リポジトリのTOPにあるCN_AD.jsonをトップディレクトリ(webui-user.batのあるところ)　に置きます。 { "_is_CN_AD_on": 1, "input_images_... 続きを読む

「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を「Stable Diffusion」と「Redream」の組み合わせで実現する方法まとめ、ControlNetも使って高品質な画像を生成可能

2023/06/11 31 users Stable Diffusion img2img 生成 環境

画像生成AI「Stable Diffusion」の登場以来、コミュニティの有志たちによって多くのAIツールが開発されています。コミュニティ製ツールの1つである「Redream」は「PCの画面内の一部を常にキャプチャし、キャプチャした画像をimg2imgに流し込んで画像を生成し続ける」という機能を持っています。Redreamを使ってみたとこ... 続きを読む

画像生成AIに2度目の革命を起こした「ControlNet」 (1/4)

2023/05/22 604 users StableDiffusion 構図 革命 画像生成AI 進化

画像生成AI「StableDiffusion」の進化が止まりません。昨年8月にオープンソースとしてリリースされてから、世界中のプロアマ問わず多数の人たちが様々な研究成果を反映させ、毎日と言っていいほど新機能を誰かが発表するという状況が起きています。 StableDiffusion登場当初は、画像の品質のランダム性が高く、構図やポ... 続きを読む

一番星はてのが英語学習記事に無言ブクマするようになりました - 一番星はての開発ブログ

2023/05/20 256 users 一番星 無言 英語 タグ 図書館

500ブクマ以上の英語学習っぽい記事を見つけたら無言ブクマするようになりました（「英語」タグでブクマされます）。なお、タイミングによってはブコメありでブクマされる場合もあります。 図書館で英語を勉強する一番星はての キャラ画像生成にReference-onlyが便利 ここ最近は主にキャラLoRA作成を頑張っていたんです... 続きを読む

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

2023/04/19 240 users Stable Diffusion 新機能まとめ 改善点 改善

を一通りまとめてご紹介するという内容になっています。 ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり、すでに活用なさっている方も多いと思います。そのような中で、つい先日ControlNetの新しいバージョンがStable Diffusion web UI用の拡張機能に実装されて色々な新機能・改善が盛り込まれ... 続きを読む

画像生成AI「Stable Diffusion」をMulti ControlNetで制御して「実写映像を忠実にアニメ化」したムービーがすごい

2023/04/13 27 users Stable Diffusion セグメンテーション 深度

Stable Diffusionなどの事前学習済みモデルに対して、輪郭線や深度、画像の領域区分(セグメンテーション)情報などを追加して出力をサポートする技術が「ControlNet」です。このControlNetを使うことで、別途に読み込ませた画像に写っている線画や人の姿勢などを出力結果に強く反映させることが可能です。このControlNet... 続きを読む

【初心者向け】ControlNetでポーズを真似する方法。

2023/03/29 23 users jojio‗illust じょじお ポーズ 画像生成AI 方法

こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。 Stable Diffusionのユーザーは、思い通りのポーズを生成することがいかに難しいかを知っています。すべてがランダムです。 それを解決したのが、AIイラスト界の革命児ControlNetです。 この記事では、Controlnetの基本的... 続きを読む

【イラストAI】タッチ、絵柄、キャラを学習出来るLoRAや、画像の一部分をControlNetで修正する方法

2023/03/09 13 users 諸々 AI作画 AIコスプレイヤー 出力 LoRa

まとめ ”AIコスプレイヤー”というAI作画をリアル路線にし写真みたいな出力の画像に対する諸々の反応 ガレソ起因でまとめ作るのは癪なんですが… 「淘汰されそう」と具体的に発言した人は見つかりませんでしたが、諸々の反応を残しておきたかったので少し長いですがまとめ。 本文構成上後ろに回してしまってますが本題的に... 続きを読む

AIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の紹介【ControlNet】

2023/03/05 10 users Stable Diffusion系 決定打 キャラクター

の使い方をご紹介するという内容になっています。 Stable Diffusion系のモデルを使って美少女イラスト等を生成している方であれば、キャラクターの手や指がグチャグチャになってしまう問題に悩むことが多いと思います。この問題に関しては今まで多くの解決策が模索されていましたが今一つ決定打と呼べる案がありませんで... 続きを読む

AI生成キャラのポーズを“棒人間アバター”で指定　「ControlNet」にVRを応用するユーザー登場

2023/02/22 11 users チャレ VRアバター ポーズ 画像生成AI 姿勢

画像生成AIで出力するキャラクターのポーズを、“棒人間”姿のVRアバターで指定するチャレンジをした人がいる。ポーズ制御技術である「ControlNet」を活用している。ポーズの指定が「かなり楽」だという。 “棒人間”姿のVRアバターで取ったポーズを基に、画像生成AIで出力する美少女イラストの姿勢を指定する――こんなチャレ... 続きを読む

AI画像のポーズを自在にコントロール！『OPENPOSE』が結構凄かった｜abubu nounanka｜note

2023/02/15 12 users openpose 被写体 abubu nounanka 感想

こんにちは。Automatic1111のアップデートでControlNetが実装され、各種拡張機能が登場しております。その中でも被写体のポーズをコントロールできる『openpose』が注目されていますが、早速試したところ結構凄かったので取り急ぎ感想をnoteにまとめます。しばらく弄っていましたが、凄い部分と現時点ではまだダメな部分... 続きを読む

やまかず on Twitter: "撮影の仕事はもうすぐAIで置き換わると思ってたけど、もう来てた ・MagicPoserでポーズ作成 ・ControlNetを使用 ・Realistic Visionモデルを使用 https://t.co/3B02ozat12 https://t.co/BQmdlg5TO

2023/02/17 277 users やまかず on Twitter t.co 撮影 仕事

撮影の仕事はもうすぐAIで置き換わると思ってたけど、もう来てた ・MagicPoserでポーズ作成 ・ControlNetを使用 ・Realistic Visionモデルを使用 https://t.co/3B02ozat12 https://t.co/BQmdlg5TOs 続きを読む

ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー

2023/02/16 28 users プロンプト Stable Diffusion 構図 ポーズ

Stable Diffusionなどの画像生成AIの登場によって、手軽に好みの画像を出力できる環境が整いつつありますが、テキスト(プロンプト)による指示だけで好みのポーズのイラストを生成するには長い時間や経験が必要です。新たに開発された「ControlNet」を画像生成AIと併用すれば、好みのポーズを指定したイラストを簡単に生... 続きを読む

ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 | 謎の技術研究部

2023/02/15 429 users Stable Diffusion prompt 輪郭 ポーズ

ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 AIイラストはPromptだけだと思い通りのポーズが出せない。そこで既存の線画やポーズから出力をコントロールする手法がControlNet。できるだけ細かいところまで設定を見ていく。 はじめに この記事はStable DiffusionのExtens... 続きを読む