Pony系で選ぶとloraファイルが出力せずに終わる問題、解決しました！ 私の場合、Pretrained model name or pathにanyLoraを使った場合コマンドプロンプトに「output_blocks.2.1.transformer_blocks.0.attn1.to_out.0.bias", "output_blocks.0.1.transformer_blocks.9.ff.net.2.bias", ...」などの単語がズラーーっと出てきました。 Pretrained model name or pathをPonyに変えたら学習が進みました！
同じところで積んでいます・・・。 一応@ham_o5509さんのアドバイスの通り「D:\tool\dataset-tag-editor-standalone」のフォルダをcmdで開いてpip install gradioもやってみました。 自身は以下の文面が表示されます。 raise err OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\tool\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. ご教示いただけますと幸いです。
@@dartois_tv な…な…なんとかLoRA作成できました～(汗) 初めは動画を何回も見てその通りにしたのですが、何度やっても必ずエラーで止まってしまうので Kohya's GUIを別の場所にインストールし直したり、pythonを入れ直したり、Stable Diffusionのvenvを削除してwebuiを再起動してみたり とにかく何でもやってみたんですけど全てダメで最後の学習時のエラーの原因特定に三日三晩以上費やしましたｗ 解決方法は7:00のkohya_ss setup menu の「5.(Optional) Manually configure Accelerate」を選択して以下のように設定、 1 This machine 2 No distributed training 3 NO 4 NO 5 NO 6 all 7 fp16 or bf16 直接的には６の設定で「all」にするとエラーが回避できるとかできないとか… ※私のパソコン環境は最新じゃないので、この設定が必要だったんだと思いますけど ネットで調べると海外に同じ症状の方が居ましたので、もし今後、同じ症状の方がいたら参考にしていただけたらと思います☆
コマンドプロンプト側で何かエラーメッセージは出ていませんか? 上手く行かないときは､だいたいエラーメッセージが出るはずです｡ あと予測ですが､1番上のタブがLoRA以外になってませんか? Pretrained model name or pathは､実在するチェックポイントを指定できていますか...? Image folder (containing training images subfolders)は､親フォルダのほうを指定していますか...? このあたりですかねー
@@dartois_tv 色々ありがとうございます。ChatGptにエラー内容と使用している画像を読み込ませて聞いたところ、原因がわかりました。パスなどの間違いはなく”Mixed precision Whether or not to use mixed precision training.”の設定を”no”にしたところ動きました！素人すぎて見様見真似でやっていたのですが、私の環境ではこの設定でないと動かないみたいです。ありがとうございました！
dataset-tag-editorを起動しようとするとエラーを吐くのですが解決法は分かりますでしょうか？(´;ω;｀) 以下エラー文 Traceback (most recent call last): File "D:\dataset-tag-editor-standalone\scripts\launch.py", line 90, in prepare_environment() File "D:\dataset-tag-editor-standalone\scripts\launch.py", line 84, in prepare_environment import devices File "D:\dataset-tag-editor-standalone\scripts\devices.py", line 3, in import torch File "D:\dataset-tag-editor-standalone\venv\lib\site-packages\torch\__init__.py", line 148, in raise err OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.
dataset-tag-editor-standaloneのlaunch_user.batを起動すると下記の文章が表示され、起動できないのですが原因はなんでしょうか？ OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\tool\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. 色々調べてもみたりしましたがわかりません……
色々調べてこの動画にたどり着いたけど故郷の方言が聞こえてくる…
無事に作りたいLora作れましたありがとう
ありがとうございます✨
次はFLUX.1のLoRAですかね...💧
ちょうど一昨日に改訂前の動画を観ながら「ん～？」ってなっていたところです💦
LoRAは作成する頻度も稀なのでどうしてもやり方忘れるんですよね～
こういう動画助かります！
ダルトワさんの情報は質が高いから嬉しい
ありがとうございます｡
Kohya's GUIがあまりに変わってしまっていて混乱を招かないよう作り直してみました✨
とっても参考になります！すごくありがたい！！（茶番の掛け合いパート少なめで本題のみだとさらに嬉しいです…）
ありがとうございます✨
1年以上他の人のloraの作り方を見ても上手く出来なかったのにこの動画のおかげで簡単にしかも高いクオリティでできるようになりました！
ありがとうございます！
上手くできて良かったです✨
LoRA使えるようになるとまた面白くなりますねー
この動画の手順に従って無事に自作LoRA作れました！
めっちゃ感謝です🥰
おめでとうございます✨
1回通ちゃえば...あとは調整ですね(この調整がまた沼なのですが💧)
これは勉強になります！
いつか自分でもやってみようと思います！
まとめ直しありがとうございます！お疲れ様でした～☺
新しい技術が出ると、結局人間が考える事多くなるってハナシ 本当にそうですね～💦
ざす子さんありがとうございます✨
もっとラクちんに生きていたいのに､なかなかそうはいかない...💦
神動画🙏
Pony系で選ぶとloraファイルが出力せずに終わる問題、解決しました！
私の場合、Pretrained model name or pathにanyLoraを使った場合コマンドプロンプトに「output_blocks.2.1.transformer_blocks.0.attn1.to_out.0.bias", "output_blocks.0.1.transformer_blocks.9.ff.net.2.bias", ...」などの単語がズラーーっと出てきました。
Pretrained model name or pathをPonyに変えたら学習が進みました！
AI系のツールはPythonむき出しのツールが多くファイルパスの問題は気を付けてても出ますね｡
エラー処理も書かれていないものが多いので､ガチのPythonエラーで終わってしまう💧
Kohya's GUIを開いて何を押してもエラーが出てしまいます。cmdにERROR：Exception in ASGI applicationと出ているのですがどうすればいいでしょうか
実際にエラーを再現できてないので何ともですが...💧
ASGI系のエラーだとPythonパッケージ､gradioかhttpxのバージョンの問題かもしれません｡
ただ特定のPythonパッケージのバージョンを下げる...というのがすでに難しいかもしれません💧
各ツールごとに任意のPythonパッケージがインストールされていて､だいたいvenvというフォルダに入ってます｡
venvフォルダを削除してセットアップをやり直す(setup.bat)か､venvを有効にしてからpipで別バージョンを再インストールすると修復できます｡
Pythonパッケージのコトを知らないと難しいかもしれません💧
@@dartois_tv お返事ありがとうございます。色々と試してみましたが、やはり同じエラーが出ました。一度環境をリセットして最初から挑戦してみます。
トレーニングをさせるとものの数秒で終わってしまって、「要求したアドレスのコンテキストが無効です。」や「正則化画像が見つかりませんでした」等の文字が出てきますが、
これはどういうエラーですかね？
正則化画像が見つかりませんでした､は正則画像なしでトレーニングしているのでとくに間違ったメッセージではないと思います｡
要求したアドレスのコンテキストが無効です､こっちは何か不具合が起こってますね💦
わたしにはとても分かりやすかったです。ありがとうございます。
モデルをPony系で選ぶとloraファイルが出力せずに終わるのですが、なにかアドバイスがありましたら、お願いいたします。
SDXL(Pony系もそう)のLoRAを作るときはsdxlにチェックを入れてsdxl用で回す必要があります｡
ua-cam.com/users/postUgkxR8-QeJx-0bxf42Fmlq5xzHv7LBR49Yd-
詳細はこちらに書きましたが､いまのところSDXL用の学習をするにはVRAMが10GB～要りそうです...💧
@@dartois_tv ご回答ありがとうございます。ちょっと試してみますね。わかりやすい動画をいつもありがとうございます。
動画の通りにdataset-tag-editorのlaunch_user.bat起動してもURLが表示されないんですが原因わかりますか？
ModuleNotFoundError: No module named 'gradio'という文が最後に出ます
cmd開いてpip install gradioと入力すれば簡単にインストールできました、同じ症状の方のために書いておきます
gradioが無い...けどインストール行けたようですね✨
Python本体側にも入れられますがvenvのほうにインストールしたほうがよいかもです｡
venv\scripts\activate
でvenvを有効にしてからpip installするとvenv側にインストールされます✨
@@dartois_tv ありがとうございます！試してみます
同じところで積んでいます・・・。
一応@ham_o5509さんのアドバイスの通り「D:\tool\dataset-tag-editor-standalone」のフォルダをcmdで開いてpip install gradioもやってみました。
自身は以下の文面が表示されます。
raise err
OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\tool\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.
ご教示いただけますと幸いです。
Pythonのバージョンが3.10.6で、setup.batでエラーとなります
Pythonのアップデートは、どのようにしたらよろしいでしょうか？
バージョンアップして、Stable Diffusionに影響はないでしょうか？
AUTOMATIC1111 WebUIの最新版v1.10.1+Python 3.10.9で試してみましたが､問題なく動作しているようです｡
Pythonのバージョン番号の3つ目の数字はマイクロバージョンといいまして｢バグフィックスがあるとバージョンが上がる｣とされています｡なので3.10.6と3.10.9は機能的には同じ...ということです｡
マイナーバージョンのアップデートは､そのままPython3.10.xを入れると今入っているものと置き換わります｡
www.python.org/downloads/release/python-3109/
のページの下の方にリンクがあります｡
いつもありがとうございます。
dataset-tag-editor-standaloneインストール後にLoadの段階で「connection errored time out」のポップアップが出て止まってしまいます。
「requirements.txt」も下記の内容で余計な行が幾つかあるのですが、それが影響している感じでしょうか。
gradio==4.28.3
transformers>=4.27.4
requests
pillow
numpy
torch>=1.7
torchvision
tqdm
timm>=1.0.8
print-color
最新のrequirements.txtはこんな感じなので､
github.com/toshiaki1729/dataset-tag-editor-standalone/blob/main/requirements.txt
もう一度､全部をgitから落としてきたほうがよいかもです｡
@@dartois_tv gradioのバージョンを最新にしたらいけました！ありがとうございました。
gradioのバージョンを最新
これもよくあるヤツですよね...下げないといけないときもある💧
@@dartois_tv流動的でむつかしいですね。いつも大変助かっています。
うーん。できないです・・・
インストールして起動するところまではできるんですけど、loadボタン押すとエラー吐いちゃいます。
ERROR: Exception in ASGI application
なんですけど、どうもバージョンの互換性の問題っぽいですね。
いろいろ最新にしたりバージョン下げたりしたんですけどダメなんで、もうちょっとあきらめモード
何か心当たりありましたら教えてくださると助かります。
ちょっと深く調べないとわからないですが､
gradio
httpx
この2つのパッケージのバージョンで問題が出ている人が多いようです｡
gradioのバージョンを下げていく...は何か変わるかもですが､下げたら下げたでまた問題が出るかもです...💧
回答有り難うございます。
この問題、解決できました。
やっぱりgradioのバージョンが悪さしてたようです。
結論から言うと、4.43.0をインストールしたらいけました。
現在最新版をインストールすると4.44.0が入るのですが、サイトのバージョンヒストリーを覗くと4.42.0が最新になっています。ただ、4.42.0を入れても動きません。4.43.0じゃないと動かないみたいです。
バージョンを1つづつ下げてやってみるのが大事ですね。
ひとまず他の問題も出てないので安心しました。
おー､よかったです😊
4.43.0はもはや運ですね💧
VisualC++のインストールの段で、自分の環境だとインストールではなく「修復」となるのですが、これは同じことなのでしょうか？
たぶん､以前にインストールしたVisualC++パッケージが見つかってもう一回入れる､みたいになってると思います｡うまくインストールできないときは､一度そのパッケージをアンインストールしてから､もう一度インストールしてみてください｡
@@dartois_tv ありがとうございます。無事にインストールできました😊
なんとか画像生成出来るグラボをやっと手に入れることが出来たので色々拡張機能を試してる所ですけど
一番大きな山がLoRA作成のような気がしています…でも動画を見てると作業がとても複雑で頭が割れそうですｗ
TrainTrain という簡単と謳われてる方法もあるみたいですけどこっちはこっちでやっぱり作業手順が複雑な印象な上に
更新が止まってたり環境に左右する問題もあるとかないとか…
複数枚の画像を放り込んだら後は自動でLoRAを作れるようになって欲しいです…
最終目標は「kirita ai diffusion で棒人間描いたら即完成」☆
LoRA作成はじっくり理解しながらやってもらうほうがよいと思います｡覚える概念もやることも多いです💦
1回できてしまえば､次回からはそのconfigを使ってやれるようになるので､とにかく1回目が成功するようにがんばってみてください✨
@@dartois_tv
な…な…なんとかLoRA作成できました～(汗)
初めは動画を何回も見てその通りにしたのですが、何度やっても必ずエラーで止まってしまうので
Kohya's GUIを別の場所にインストールし直したり、pythonを入れ直したり、Stable Diffusionのvenvを削除してwebuiを再起動してみたり
とにかく何でもやってみたんですけど全てダメで最後の学習時のエラーの原因特定に三日三晩以上費やしましたｗ
解決方法は7:00のkohya_ss setup menu の「5.(Optional) Manually configure Accelerate」を選択して以下のように設定、
1 This machine
2 No distributed training
3 NO
4 NO
5 NO
6 all
7 fp16 or bf16
直接的には６の設定で「all」にするとエラーが回避できるとかできないとか…
※私のパソコン環境は最新じゃないので、この設定が必要だったんだと思いますけど
ネットで調べると海外に同じ症状の方が居ましたので、もし今後、同じ症状の方がいたら参考にしていただけたらと思います☆
@@dartois_tv
おかげさまでなんとかLoRA作成が出来るようになりました☆ありがとうございました。
ただ設定が悪いのか元画像より線が太くて筆圧の高い漫画絵みたいになってしまいます…
モデルを変えてみたらギリ許容範囲に収まってくれたのですが、モデルとの相性もあるのかも知れませんね
とても参考になる動画ありがとうございます！ただdataset-tag-editor-standaloneのインストールは出来たのですが、画像が表示されません。動画の通りにsettingの変更はしたのですが。。
ほかの解決方法はありませんか？よろしくお願いします。
パスを通してもやっぱり画像が[×]になる現象ですよね💧
これどういう条件でなるのかわからないんですが､たぶん[×]のままでもタグ付けは完了できます(絵が多いとどれがどれかわからなくなる💦)｡
@@dartois_tv ありがとうございます！
下記で私は解決しました。
「設定」タブで一時画像を保存するフォルダを設定します。「一時ファイルを保存するディレクトリ」にパスを入力し、「一時ファイルを強制的に使用する…」をチェックします
@@銭形-o5n ありがとうございます！試させていただきます！
ホント助かる。一定以上の情報流したら投稿やめちゃうチャンネル多いけど
AI系の情報って常に古い情報が使えなくなるから稼働してる方が需要ある筈
そうなんです､色々古くなっていってます💦
UIとかやり方が変わっちゃって💦
凄くわかりやすかったです。
最後のLORA作成まで行ったのですが、JSONファイルなどはできあがるのですが、肝心のLORA用ファイルが出来上がらず、泣いてます、、、
何が原因でしょうか
コマンドプロンプト側で何かエラーメッセージは出ていませんか?
上手く行かないときは､だいたいエラーメッセージが出るはずです｡
あと予測ですが､1番上のタブがLoRA以外になってませんか?
Pretrained model name or pathは､実在するチェックポイントを指定できていますか...?
Image folder (containing training images subfolders)は､親フォルダのほうを指定していますか...?
このあたりですかねー
@@dartois_tv RuntimeError(f"NaN detected in latents:学習データ用ファイルパス
と出ていました。使用してる画像の問題でしょうか。
まず､気になる点は3つあります｡
NaN detected in latents:学習データ用ファイルパス
通常このエラーはlatents:の後に実ファイルのパスが出ると思うので｢学習データ用ファイルパス｣という文字が出ているとすれば､画像ファイルの場所指定が間違っていそうに見えます｡
もう1つは､学習に使っているcheckpointのサイズ(sd1.5ならsd1.5､sd2.1ならsd2.1､sdxlならsdxl)が学習に合ってないのかもしれません｡
また､.png､.jpg､.jpeg､.webp､.bmp以外の画像も読み込めないので確認してください｡
画像やcheckpointが正しく読み込めているなら､
Parameters→Advcanced→Additional parametersに
--no_half_vae
を追記してfp16のVAEを利用しないで学習すると改善するかもしれません｡
(VRAMの利用量がたぶん増えるのでそっちで問題出ると厄介です💧)
@@dartois_tv 色々ありがとうございます。ChatGptにエラー内容と使用している画像を読み込ませて聞いたところ、原因がわかりました。パスなどの間違いはなく”Mixed precision
Whether or not to use mixed precision training.”の設定を”no”にしたところ動きました！素人すぎて見様見真似でやっていたのですが、私の環境ではこの設定でないと動かないみたいです。ありがとうございました！
こんにちは。
いつも動画ありがとうございます。
kohyaguiをバージョンアップする時は改めてインストールが必要になりますか？
そうですね､基本的にAI系のツールって...
①ツールのコアの部分をgitからダウンロードする
②venv(Pythonのコピー)を構築する
③requirements.txtに従ってPythonのモジュールをダウンロードする
みたいな流れになるので､大きくバージョン上がったときは｢入れ直す｣感じになります｡
このとき､別のフォルダに入れると古い環境も新しい環境も両立できるので､SSDに余裕あれば両方動くようにするといいと思います｡
@@dartois_tv
ご丁寧にありがとうございます。
あまり知識がないもので、、、
参考にさせて頂きます(o'ᆺ'o)
OneTrainrでのLoRA作成レポートもお願いします
One Trainer！これ気になって触ってるんですが､なんかconcept(学習元画像指定)がおかしくないですかね...｡フォルダの中の全部が使われてない気がする｡
conceptの挙動のナゾが解けたら動画にしてみようと思います✨
@@dartois_tv ありがとうございます！ Stablity Matrixで導入は簡単だったのですが、細かい挙動まではよくわかりませんでした お時間があったらよろしくお願いします
dataset-tag-editorを起動しようとするとエラーを吐くのですが解決法は分かりますでしょうか？(´;ω;｀)
以下エラー文
Traceback (most recent call last):
File "D:\dataset-tag-editor-standalone\scripts\launch.py", line 90, in
prepare_environment()
File "D:\dataset-tag-editor-standalone\scripts\launch.py", line 84, in prepare_environment
import devices
File "D:\dataset-tag-editor-standalone\scripts\devices.py", line 3, in
import torch
File "D:\dataset-tag-editor-standalone\venv\lib\site-packages\torch\__init__.py", line 148, in
raise err
OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.
↑動画の説明欄に｢PyTorchのバージョンを下げる方法｣を追記しました｡
Windows環境でPyTorch2.4をインストールするとPythonからimoprt(呼び出す)できなくてWInError 126が出ている場合は､バージョンを下げることで動作する可能性があります｡
このあたりどうですかね...
@@dartois_tv
ありがとうございました！
無事、起動に成功しました！
これから遊んで見ます、本当にありがとうございました！
dataset-tag-editor-standaloneのlaunch_user.batを起動すると下記の文章が表示され、起動できないのですが原因はなんでしょうか？
OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\tool\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.
色々調べてもみたりしましたがわかりません……
エラーの感じからするとWindows環境に依存するエラーのようです｡
いまから書くことは少し難しいかもしれません💧
(1)エラーが示す上記パスにfbgemm.dllが無い場合は､venvにあるPyTorchをアンインストールして再インストールすると修正されるかもです｡
(2)fbgemm.dllがちゃんとある場合は､Visual C++再頒布パッケージをインストールすると修正されるかもです｡
Visual C++再頒布パッケージ
learn.microsoft.com/ja-jp/cpp/windows/latest-supported-vc-redist?view=msvc-170
は､Windows上でinsightfaceとかを動かすのにも必要になってくるのでAI関連のツールを使う場合は入れておいたほうがいいです｡
64bit版のWindowsを使っている場合は最新のX64版を入れます｡
@@dartois_tv fbgmm.dllはありました。visual C++もインストールしました。
動画と違うところがあるとすれば、Visual C++をセットアップ完了したときに、再起動する必要がありますの文章が出ずに、閉じるボタンしか表示されないですが関係あるでしょうか？
@@user-oi4wp5uj7f VC++再頒布パッケージはたいてい再起動来ると思いますが...更新対象のファイルがシステムで使用中でなければそのまま終わるかもしれませんね...
僕の場合は「libomp140.x86_64.dll 」というファイルをダウンロードし、system32フォルダに配置することで解決しました。コメントにURLを貼ることができないのですが、ファイル名で検索するといろいろな説明が出てくると思います。
別件で調べものをしていて↑のエラーが出る条件がひとつ見つかりました｡
｢PyTorch2.4.0を使おうとすると単にimportに失敗する｣というもの｡これはpython→import torchで失敗するので2.4.0は何かの条件でWinodwsで動作しないのかもです...｡
PyTorch 2.3.1だと動作するので､PyTorchのバージョンを下げると改善するかもしれません｡
2.3.1+cu118や2.3.1+cu121はimportできます｡
GPU使ってくれない問題が再発して困ってます。torchはGPUは2080tiを認識してるようなんですが。
torchとCUDAとcuDNNのバージョンが関係していると思います｡動作中の環境を調べるには以下の手順があります｡ちょっとややこしいです！
①kohya_gui.pyが起動するときのログ
4行目に｢Torch 2.2.1+cu118｣のように+cu付きのバージョンが出ているかを見ます｡
②PC全体のCUDA環境
コマンドプロンプトからnvcc -Vを実行するとCUDA ToolKitのバージョンが､nvidia-smiを実行するとドライバのCUDA対応バージョンが出ます｡
③venvのtorch環境の詳細情報
kohya_ssフォルダで､venv\scripts\activateでvenvを有効にして､python -m torch.utils.collect_envを実行するとkohya_ss実行時のtorchの環境の情報が出ます｡
動作させるtorchのCUDAバージョン
@@dartois_tv ありがとうございます。おっしゃる通り勝手にtorchがアプデされて相性問題が原因みたいでした。SDXLの設定も不安なので相性調べてみます。
kohya’sGUI が入らないから
何でー？
と思ってたらpythonが3.12……
メンドクセェ事になってて凹んでマス……
pythonって複数バージョンをインストール(3.12.0があっても3.10.9を入れる)して､venv作るときに｢どのpythonから作るか｣を指定できる！...って記事が多いですが､実際にはバージョン指定するとエラーになって個別のvenvが作れないですね...なぜじゃ｡
そもそもツール毎にvenvを手動で作るってのが普通は難しい作業ですね💦
@@dartois_tv 複数バージョン入れるのもヤなので、ちょっとtraintrainで挑戦中デス……