Stable Diffusion - Раскрашиваем в ControlNet
Вставка
- Опубліковано 27 лип 2023
- ► Boosty (эксклюзив) ➜ boosty.to/xpuct
► Telegram ➜ t.me/win10tweaker
► Discord ➜ / discord
ffmpeg ➜ win10tweaker.ru/forum/topic/f...
🔥 Deliberate: huggingface.co/XpucT/Delibera...
🔥 Reliberate: huggingface.co/XpucT/Relibera...
🔥 LowRA: huggingface.co/XpucT/Loras/tr...
Плейлист Stable Diffusion: • Stable Diffusion
МОЯ ВЕРСИЯ Stable Diffusion: • Stable Diffusion Porta...
#StableDiffusion #ControlNet #ffmpeg - Наука та технологія
круто, это все то что я хотел, но делал костыльными методами которые нашел в инете - за 2-3 дня до выхода этого КРУТЕЙШЕГО видео на канале❤🔥
Огонь! 🔥
Было интересно, спасибо!
Спасибо тебе мил человек! 😀А то я уже давно ищу способ комикс покрасить!!! И получается если несколько разных кадров с одним персом, то эта схема должна сработать?
Спасибо за ролик. А подскажите новичку, в какую сторону лучше всего копать для перерисовки изображений которые используются как сэмплы? Если хочется получить что-то близкое, с похожим ракурсом/позами/композицией?
Сейчас использую img2img, но кажется это не самый правильный способ, так как при низком денойзинге картинки начинает корявить.
Посоветуйте в какую сторону можно подумать, посмотреть, для решения задачки сконвертировать аниме в фотореалистик или наоборот, или деколоризировать изображение
Спасибо, очень крутое видео! Ждём ещё больше новых видосов!
Спасибо за видеоматериал, очень помог! А ещё у меня вопрос: при генерации в стебле у меня вообще никаких изменений в зависимости от модели. Вроде ничего лишнего не трогал и настройки у меня не сказать что сильно от деффолтных отличаются. Вот интересуюсь, вдруг кто-то сталкивался с подобным?
Спасибо, все работает.
Спасибо, будм пробовать!
большое спасибо, как всегда очень крутое видео !
На изображениях до и после раскраски девочка выражает разные эмоции. Потому что изменились глаза и рот. Это может иметь значение. Как будто характер персонажа и его эмоциональное состояние изменились из-за раскраски. Раскрашенная девочка как будто чуть взрослее и у нее более сложный характер
Я думаю от использованной модели зависит. Просто эта натренирована на изображениях где и подбородок более острый и т.д.
Впрочем, попробую вечером, самому интересно.
Допишите в промп то что вы хотите получить - в чем проблема?
@@Hitagara и получим набор новых проблем.
Ребят, подскажите, плиз, где туплю? Делаю всё один-в-один по инструкции. Запускаю генерацию, Стейбл начинает создавать изображение, в ходе процесса видно как он все раскрашивает, всё прям четенько, но как только завершается генерация на выходе он мне все равно отдаем черно-белую картинку. Настройки точно как в видео (модели и проч.)
Хачатур ты ТОП, чё мы вообще без тебя делали.. 🔥
в controlnet же если нажать allow preview можно нажать preview as input, тогда не придётся переносить его вручную
отличная тема, но меня очень интересует вопрос, сделать тоже самое только до наоборот, то есть из цветной картинки, а еще лучше из фотографии, сделать контурный рисунок-( для дальнейшего разукрашивания например)
Я делаю так: ставлю lineart (bw) препроцессор, подгружаю фотку в controlnet и нажимаю превью и скачиваю саму превьюшку. То есть даже не генерю!! Если нужна вариативность, то тогда lineart в controlnet + фотка, а в img2img просто подсовываю белое изображение и генерация примерно с 0.7 денойзом. Но мне и превью хватает в 99% случаев. В любом случае доработка в Фотошопе небольшая требуется.
Можно попробовать с разными lineart препроцессорами.
@@---Nikita-- с лайнартом в принципе и так понятно, но получится просто ч/б картинка, но не манга. Там фишка в фильтрах (хз как оно называется, но заполнение там не заливкой делается, а точками) а это фш. Вот интересно, как такое сделать чисто в нейронке?)
@schlafenyoda7485 Накинуть сверху на картинку лору 😀
В фотошопе есть функция обесцвечивания, нейронка для этого не нужна
@@ellis_dl Человек говорит про эффект стиля манга, а не просто перевод в ЧБ. В манга стиле ярко выраженные контуры, штриховка, постеризация и скринтоны. ФШ сам это не добавит. В принципе это сказали уже за меня) Тут нужна лора на манга стиль, + лучше это делать на модели Flatter
Спасиба, учитэл! ✌️Интересно, как будет работать на людях.
Очень круто!
Спасибо наконец-то появилось полезное видео Жаль только как всегда нет времени пробовать. Надо будет где-то себе сохранить ссылку в закладке. Хотя у вас уже было похожее. Всё никак не соберусь Разукрасить свои старые фото А точнее фото родственников Пятидесятилетней давности.
спасибо, спасибо!)
Там еще можно взять другую аниме картинку и использовать из нее только палитру, тоже через контрол нет.
Хачатур,здравствуйте! Скачал вашу сборку stable diffision. Все делаю по инструкции.Но,во время запуска webui-user выскакивает окно " Не удалось загрузить ваш профиль «Firefox». Возможно, он отсутствует или недоступен". Пожалуйста,подскажите что это и почему? Денис. Спасибо
Перманентный лайк 👍🏽
Благодарю.
А какая разница между тем, чтобы написать промпт одной строкой, или разделить его на разные строки? Разделение по строкам даёт какой-то эффект?
На новой строке это уже будет, как новый промпт.
Хачатур упомянул легендарную вещь, которая творит чудеса - ffmpeg.
Давно юзаю, не знал что Хачатур шел делал.
Наверное скоро и про фубар2000 тоже невзначай что-то будет сказано.
Блин это все очень круто и полезно , прям то что я искал , но у меня вопрос есть. На картинке будет 2-3 персонажа , как мне указать в промте кто есть кто , что бы красил именно того персонажа который нужен
Смотрите далее по плейлисту.
сделай уже наконец свою сборку винды со своими твиками
Хачатур, не могу присоединиться к дискорд, пишет "не удается принять приглашение". Подскажи как победить? Являюсь подписчиком на бусти (сильная поддержка)
А нет ли плагинов которые могут сделать колор-трастфер с одного изображения на другое?
Подскажите, как чекпоинт называется? а то все перепробовал, результат не совпадает или дайте ссылку, на чекпоинт, который используется в видео.Заранее благодарен. Плюс к карме))
Ерунда получается, почти все перерисовано. С таким успехом можно генерить новую
супер спасибо, седлайте видео как стилизовать портрет (свой) в мульятшном или аниме стиле, что бы лицо было похоже,
Разукрашивать целый мультфильм не получится, сколько не пытался - всегда появляются отличия в цветах/деталях между кадрами. Из-за чего фликеринг эффект и нет плавности
мэтр!
топ
Ну это не обязательно для калоризации использовать. Если уж говорить про аниме, то их много старых, со старой рисовкой, тусклыми цветами и т.д.. Да тупо качество не очень, к примеру (были целые сериалы, оцифрованные с кассет, аж молодость вспомнил и прослезился🥺), вот для этого годная тема!👍
Ребята, а в чем разница между обычной моделью и её inpaint версией? Я думал, что вторую надо использовать как раз при работе во вкладке inpaint, но обратил внимание, что никто так не делает. Какой тогда в ней смысл?
ua-cam.com/video/tLBnv7IWLxA/v-deo.html
@@XpucT спасибо! Всё стало на свои места
ХрисТ, помоги! Морды после рендеринга идут с пятнами, как будто пережжённые фотографии, все ебало-корректоры включены и отключены и перенастроены. Ни что не помогает!
8:30 А где должен быть первый кадр уже сгенерированны? В папке Batch?
Там, куда сохраняются генерации. В Моём примере - это папка 1.
А нет в планах сделать такую же программу, как та, которой вы разбиваете все на кадры? Только чтобы кадры потом собирала в цельное видео.
Уже давно есть такая😁, ещё под win XP делалась, но отлично работает и на десятке
Всем привет!
Всё чаще и чаще при генерации в связке с фотошопом выскакивает ошибка 500... Что делать? Кто сталкивался? Какие то решения в интернете найти не смог ((((
А что там по SDXL?
А может вдруг будет подобное видео про XL модели? Просто там для XL другие модели ControlNet и тот же Lineart не работает. Пережаривает картинку. Кэнни работает, но не так идеально как тут. Он то очень много привносит своего, то теряет детали, то не меняет изначальную картинку вообще. Или на XL в принципе такого не сделать? Просто на 1.5 очень удобно было таким вот способом фиксить руки итд, а на XL как-то контролнет странно работает.
Раскрашиваем😅😅😅 ну блин
вопрос по видео Модели ControlNet 1.1 в какую папку их нужно положить ? Я положил скачанный файл controlnet11Models_tileE.safetensors в C:\stable-diffusion-webui-directml\models\ControlNet но у меня не появилось в моделях control_v11p_sd15 как у вас на видео
попробуй сюда stable-diffusion-webui\extensions\sd-webui-controlnet\models
@@timurg9460 пробывал не работает
Там надо 2 файла качать, посмотрите у автора последние ролики
А то накажет ведь... 😅
@@Sky_Eagle у меня как раз 2 файла скачано controlnet11Models_tileE.safetensors и controlnet11Models_tileE.yaml
Подскажите пожалуйста как работают controlnet unit? Когда и как их надо использовать?
Про ControlNet отдельно 2 видео:
ua-cam.com/play/PL05SB3rBbUsprkMgH3yDV12MuuIbO5KEq.html
@@XpucT виноват!
подскажите, что делать, если нет cn unit 0-4?
Включить их в настройках😀
А есть ли возможность создать изображение персонажа в разных ракурсах и действиях, сидит в кафе, едет на скутере, сменил одежду, вид со спину, сбоку…
очень интересная тема, вот только у меня 6 гигабайт видеопамяти, постоянная ошибка при разукрашивании OutOfMemoryError: CUDA out of memory. Low VRAM стоит. Но генерирует только на 512 на 512 дай боже. Неужели мне не судьба разукрашивать таким способом картинки, или это можно пофиксить? процессов параллельных никаких нет, которые могли бы мешать.
Обычно пашет на разрешении около 2к, дальше не проверял, а именно с покраской напасть какая-то
ну 6 гб не так мало, может проблема в другом?
@@Tesla_S А я понял в чем проблема. Все дело в галочке Low VRAM. Она все и портила, несмотря на то, что этот вариант для тех, у кого якобы мало видеопамяти 🤔 снял ее, теперь спокойно пашет на высоких разрешениях, и генерация быстрее идет. Я привык считать, что для sd 6 это мало
Некуда больше написать пишу тут ) Сделай плиз видео как настроить Stable Diffusion для работы удаленно - тоесть у меня постоянная IP и надо чтоб я из любой точки интернета подключался к своему компу дома. Вариант просто транслировать екран не катит ) хочу через айпишку и порт, в роутере настрою переадресацию. Спасиб.
Посоветуйте, пожалуйста, хорошие книги по C#
Герберт Шилдт
@@XpucT Спасибо!
@@XpucT у него вроде только книга по C# 4, новее не видел, это разве актуально сейчас?
А фото ЧБ?
А как наоборот - из цветного чб сделать? Кто-нибудь знает?
В гугле забанили?
Помогите пожалуйста! Перестал работать ControlNet. Версия плагина 1.1.313.
Ни со старыми моделями (control_mlsd-fp16.safetensors), ни с новыми (control_v11p_sd15_mlsd.pth).
Сами модели загружаются. В CN, ставлю галочку Enable, ставлю галочку Allow Preview, выбираю MLSD, сразу выбирается верный препроцессор и модель.
При нажатии кнопки "Run preprocess" выдаёт ERROR. В терминале ошибка: base64_encoded_json = base64.b64encode(json_string.encode("utf-8")).decode("utf-8")
AttributeError: 'NoneType' object has no attribute 'encode'
SD свежий, сегодня перекачивал. venv удалял. Список расширений и сама SD как у XpucT 1 в 1. Хз что делать! 😰😱
Отвечу сам себе. Косяк был на стороне ControlNet, залили коммит с правками 20 минут назад. У кого подобная проблема, зайдите в Extensions, нажмите кнопку Check for Updates
Привет Христ поскажите пожалоста какую винду ставить чтоб пк летал вот параметры
Intel(R) Core(TM)2 Quad CPU Q9500 @ 2.83GHz
NVIDIA GeForce GT 710, 2 GB
C: 55 GB [Golden Memory-60gb ] SSD
8 gb ОЗУ
у меня есть вин 10 твикер про купляна
и що хочу вашу обоину и ваш пуск заранее спасибо
7 полетит точно 😊
Windows NT ставь!
MS DOS👍
NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.
Жаль что в win 10 tweaker чего то глобально больше не выходит а это без преувеличения лучшая программа для вашей винды(
Хачатур, очень хотел бы от тебя видео по удалению вокала из музыки🙏🙏
На Boosty много материалов по звуку
может быть кому-то пригодится. все это время не мог попасть на сервер в дискорд, ругались на возраст, хотя мне 30 лет. я уже в тех поддержку писал, присылал по форме скрины паспорта и свое фото и т.д. на что мне ответили что мы не можем поменять вам возраст на новый, потому что старого еще не знаем. короче все настройки просмотрел и выяснилось, что в дискорде нужно зайти в настройках в пункт семейный центр и вот только тогда он спросит тебя о возрасте и нужно указать возраст, в моем случае правильную дату. и только после этого я смог попасть на серв к вам.
Сделай пожалуйста видео о новом обновлении Stable diffusion, о том возможно ли его скачать сейчас и так далее. Думаю будет очень интересно. Спасибо
Качаешь тот же автоматик, он сразу всё обновит, или почти всё...
Но если бы я знал, что меня ждёт, оставил бы старую версию, апрельскую или даже февральскую. Там всё работало лучше и памяти хватало. Ибо потом стало мало видюхи - поменял, неделю порадовался и обновление вышло. А там перестало хватать памяти на хайрес и прочие плюшки по апскейлу. Сейчас некоторые расширения и без апскейла, с небольшим разрешением всю память сжирают...
@@schlafenyoda7485а Влад или Некст дефьюжен не пробовали? Может там более оптимизировано?
@@schlafenyoda7485а какую видюху поставили?
бу бу
field
Я точно делаю что-то не так, вообще не получается😢
Большое спасибо за вашу работу!) Очень много интересного узнал благодаря вашим видео 👍ии для меня это новое, мало изученное и оч зантмательнле дело)
Позвольте вопрос задам немного не по теме. Около 2 месяцев назад заметил проблему... прри включении пк, даже не заходя в браузер, у меня появляются в истории просмотров ютуб левые просмотры, то что я на смотрю. Рандомные видео и на арбаском , и на испанском и т.д. Пробывал менять пароли, чистить кэш, и т.д. ничего не помогло. Для меня это сложно( по специально я совсем далек от iT ) .Может кто сталкивался с подобной проблемой, буду признателен помощи, совету.😊
Первым делом проверить компьютер на вирусы с помощью CureIt.
Далее полная переустановка Windows.
win10tweaker.ru/windows10
@@XpucT благодарю за ответ 👍
А старые фото так можно разукрашивать?
интересно как оно разукрасит целую странницу манги с разными кадрами и текстом (подозреваю что не очень)
Можно частями + инпейнт, в любом случае быстрее чем вручную))
Попробовал, херь получается, пока раскрасить комикс не очень, людей крупным планом раскрашивает класно, но чуть чуть меняет одежду(лямки, бабочки и т.д.), все что мелким планом там писец(. Да и раскрасить двух девочек и одного мужика на странице ну такое... Долго боролся, на снимке девушка с пылесосом стоит задом, дак программа сука все на ее заднице лицо пририсовывала. Пришлось Control Weight подкручивать. Я думаю потом можно будит полноценно комиксы раскрашивать, но надо на рисунке как то обозначать номерами, кого и как раскрасить.
Скример в конце
В конце скример)
Лучший =)
Попробовал со страницей комикса , херь получается, людей крупным планом раскрашивает класно, но чуть чуть меняет одежду(лямки, бабочки и т.д.), все что мелким планом там писец(. Да и раскрасить двух девочек и одного мужика на странице ну такое... Долго боролся, на снимке девушка с пылесосом стоит задом, дак программа сука все на ее заднице лицо пририсовывала. Пришлось Control Weight подкручивать. Я думаю потом можно будит полноценно комиксы раскрашивать, но надо на рисунке как то обозначать номерами, кого и как раскрасить.
Методу работающему как часы, не хватает модели натренированной под различные мимики лица, типы глаз и тп. В данном виде, под разукраску персонажей не годится.
Зачем девочку с реки в поле перенесли? 🤨
там опечатка, это не поле
Все во всю раскачивают про модель stabilityai/stable-diffusion-xl-base-1.0 Почему ты об этом молчишь?
Уже рассказал в этом видео ➜ ua-cam.com/video/5Z0O7Sza6j0/v-deo.html
Плюс Хачатур сделал сравнение с Midjourney ➜ t.me/win10tweaker/372
Один человек с 200+K на видеокарту и прямыми руками теперь может заменить целую студию .
повтор-напоминалка : агитирую за рубрику Total War: Warhammer 2-3 и Darkest Dungeon 1-2 ! лайк и ком в поддержку канала , для алгоритмов ютуба .!!! !
52 видео подряд про стабле диффузион... Если честно, поднадоело...
А мне заходит 💁♂️
не смотри
Когда будет обновление по лоре и ликорис?
а зачем?) всё уж сказано) там ничего и не менялось)
@@MitrichDX все уже устарело, посмотрите на Сивит, там есть супер лоры и лукорис и в полный рост!