最強の顔認識機能、FaceIDをstable diffusionで使う
Вставка
- Опубліковано 7 лип 2024
- この動画では新しいコントロールネットのモデルである、FaceIDの使い方と特徴をまとめています。
タイムスタンプ
0:00 はじめに
0:48 導入方法
4:23 FaceIDの使い方と画像の評価
リンク
IP-Adapter FaceIDのモデルやインストールについて：github.com/Mikubill/sd-webui-...
ReActor(stable diffusion webui)のインストール： • 【面白すぎる！】ディープフェイクのReAct...
Reactor(comdy ui)のインストール： • Comfy UIでReactorをインストー...
![[MUST-WATCH!] Method for Creating Ultra-Realistic Skin using Stable Diffusion](http://i.ytimg.com/vi/zKBq8xG7f4g/mqdefault.jpg)
顔を固定する方法を探していたのでとても参考になりました。
素敵な解説ありがとうございます💖
コメントありがとうございます。お役に立ててうれしいです😊
使ってみました。単純に顔だけが変わるかと思いましたが、いい感じにポーズも変更してくれるのがすごいですね！また、楽しみが広がりました。顔素材のLoRAと併用したらどうなるのか検証中です。紹介していただいてありがとうございました。
コメントありがとうございます。全体の画風なども引っ張られるようですね。結構面白いですね
有益な情報ありがとうございます。
確かに実写系では生成結果が美化されがちなモデルが多いなか、モデルを変えずにこれは凄いですね。
西洋系のモデルで東洋系の顔が自然に生成されるのも強いです。ただ、Hires.fixやADetailerの過程で、モデルに引っ張られるところはありそうなので、モデル選びが重要なのは変わりはなさそうですかね。
再限度が思わしくない場合は、顔LoRAも組み合わてみたりするなど、いろいろ遊べそうです。
Hires.fixのでノイズを強くすると利きが悪くなるかもしれませんね。Adetailerはまだ試していませんが、コントロールネットの後に働くので顔が戻ってしまうかも
『美女ではない画像』で笑いました。機能紹介ありがとうございます♪
世界のUNAKOさん、コメントありがとうございます。
美女ではないは失礼でしたかね🤭
ControlNet情報は少ないので動画助かります！アニメ調のイラストではやはりエラーが出ました。入力画像はリアルまたはセミリアル向けのようですね。
insightfaceはアニメに対応していないようですね
これだけ楽に顔再現が可能になると、リアル系の顔LoRAとか作る意味なくなるかもしれないですね。SDXLでの性能はちょっと「あれ？」と感じますが、1.5系では顔再現機能として完成の域に達している気がします。生成で使うと優秀なLoRAもインペイントで使うと再現性かなり下がるんですが、このコントロールネットがそこも克服していたら学習データの作成でも強力なツールになりそうですね
まさに顔LoRA不要説ありますね！この機能は静止画像作るときは最強だと思います😆
わんこが気になって仕方ない
私の壁紙かわいいでしょ💓
まだroopしか使ったことないのに時代が進化してた。覚えていく端から古くなっていくな
進化速いですよね💦
とても参考になりました！forge版なのですが、extensionsフォルダの中にControlnetフォルダがありません。この場合ファイルはどこに入れたら良いのでしょうか？
コメントありがとうございます。あなたのディレクトリ\sd-webui-forge\webui_forge_cu121_torch21\webui\models\ControlNetに入れていただければよいと思います。
仮想環境にinsightfaceをインストするためには、Reactor に加えて Visual Studioもインストしないとダメなのでしょうか？
visual studioも必要だと思います
ReActorのインストール手順を追ってください✨
@@AI_is_in_wonderland さん
ありがとうございますm(__)m
VS入れてやってみます。
insightfaceですが、FaceID初回使用時にインストされてるような気がします。
自分はモデルとLoRAを入れただけですが、ちゃんと動作してる気がします。（気のせいだったらすいません）
最新版ではそうなっているのでしょうか？私はreactorの時にインストールされていたので検証できていません。
２次元、アニメ系の顔読ませたらそれも再現して生成してくれるんでしょうか、興味深いです
アニメ系は無理のようですね😨
プリプロセッサが出てこない原因は分かりますか？
ループもリアクターもインストール済みなので、インサイトフェイスの問題は無いかと思います。
アップデートも行ってます
ver1.1.4以降は出るはずなのですが・・・
ごめんなさい。ちょっと分かりません
マルチコントロールネットで、顔を混ぜることが出来たりするのでしょうか!?🤔･･･○○○ face,のような、顔の形を表すプロンプトは、相性が悪いので使わないほうがいいみたいです！😓
印象としてはかなり強く顔モデルの画像を引き継ぐようですので、混ぜるような使い方なら他のコントロールネットを使ったほうが良いかもしれませんね
CFGスケールは低めが良さそうですし、ディテールブーストLoRAの方も、弱めが良さそうです。まだ横顔とか泣き顔のような、特殊な顔も描けるのかも、わかりませんが、ここまで出来るのなら、次は衣装や背景の固定の機能も期待したいですね！
Midjourneyのような美女すぎないアジア人を作りたいのですが、それに近くなるようなモデルが見当たりません、、。
やはり今回の動画のようにipアダプターなどを使って1枚ずつ頑張るしかないのでしょうか？、、
チェックポイントの中では一般的な顔が出やすいものもあったと思います。bracing evomixなんかは良い気がします。
また、ネガティブエンベッティングにbad dreamを使うとよいかもしれません。
なぜか全く機能しませんね…
faceIDもLoraもちゃんと認識しているんですが…
ReActorはかなりよく機能してるんで環境は出来てると思うんですが
残念です～🥺
自分も同じ状態でしたが、結果的に上手くいきました。
動画の通りにしても機能しなかったので、最初からStableDiffusionを構築しなおしました。
その際、まっさらの状態にcontrolnetだけを導入して、ip-adapterのファイルを指定のフォルダに入れたら、それだけで機能しました。
insightfaceは、controlnetに含まれているので、ReActorなどは不要ですね。
多分、何か競合していて、上手く機能しなかったのかな。
フェイススワップはされてるけど顔の比率とか首の長さとか露骨におかしい気はする
たしかに元の絵とずれる部分が出る場合もありますね。特にSDXLはちょっとおかしくなりやすいですね。