Круто! Я пытаюсь сделать диффузия которая с помощью CrossAttention и токенов Clip генерирует изображение! Твоё видео думаю будет полезно. (Правда я использую torch , а не tensorflow)
Прикольно, тоже с CLIP немного работал, хотя из статей по кандинскому понял, что он не сильно повышает качество по сравнению с просто текстовым энкодером. Но удачи)
Привет. Даже не знаю кому как не тебе написать. В общем, обучаю gan модель для генерации картинок. И возникла как пишет инет самая распространенная проблема. У меня ошибка генератора только и делает что возрастает, когда у дискриминатора - падает. Естественно ничего дельного она не генерирует. В чем может быть проблема? Ну и конечно же хотелось бы увидеть какое нибудь сообщество, чтобы задавая вопросы хотя бы скрины приложить ) А то этот коммент выглядит так, будто я у чата gpt взял модель и почему то она не работает 😂😂😂
Да, ganы неприятные в обучении) Что можно попробовать сделать: Проверить, что обе модели обучаются. Если это tensorflow, то в обучающем цикле у всех моделей должно стоять training = true. Это неочевидно, но может быть в этом проблема. Также должно быть два градиент-тэйпа, две ошибки и два обновления весов. Если генератор хоть пытается что-то генерировать вначале, то оба обучаются и все нормально. Тогда можно сделать следующее: Уменьшить лернинг рэйт у дискриминатора. Вплоть до 1е-5, но обычно 1e-4. Помучать дискриминатор. Убрать последний полносвязный слой, сразу подавать на 1 выход (тут же проверяем активацию выхода, обычно она 'sigmoid'). Добавить туда-же в конец какой-нибуть большой дропаут (до 0.5, обычно 0.2 - 0.3) Добавить слой GlobalAveragePooling в конец. Это иногда помогает. Если продолжает не работать, можно скопировать гайд то тензорфлоу, он должен работать. Дальше смотреть, чем отличается ваш код от их. Насчет сообщества не подскажу. Сам бы много чего спросил) Может когда-нибудь тг чат организую...
@@КрасноТех пробовал. Сбить ошибку постоянно растущую удается только двойным проходом генератора, без обучения дискриминатора, но тогда он перестает обучаться, точнее на 50 эпохе вообще все перестает обучаться, по причине того что ошибка у дискриминатора болтается а районе 0.6. К слову может спишемся? Могу почту написать, а там уже в тг перейдем. А то тема интересная, а спросить неукого. Человек я нормальный, в том плане что доставать не буду, только по делу.
@@КрасноТех и да, чатик нужен. Не обязательно же только автору пишут, в чат приходят и умные люди, часто вопросы задают им, если конечно они не касаются ролика
FID, Можете погуглить Frechet inception distance, типа сравнивает, насколько похожи картинки. Тут я сравниваю исходную картинку с ее же версией после даунсэмплинга и расширения нейросетями
Спасибо большое!!! Крутое оформление!
Спасибо за объяснения!
Круто! Я пытаюсь сделать диффузия которая с помощью CrossAttention и токенов Clip генерирует изображение! Твоё видео думаю будет полезно. (Правда я использую torch , а не tensorflow)
Прикольно, тоже с CLIP немного работал, хотя из статей по кандинскому понял, что он не сильно повышает качество по сравнению с просто текстовым энкодером. Но удачи)
Крутой чел, и видео классные
Привет. Даже не знаю кому как не тебе написать. В общем, обучаю gan модель для генерации картинок. И возникла как пишет инет самая распространенная проблема. У меня ошибка генератора только и делает что возрастает, когда у дискриминатора - падает. Естественно ничего дельного она не генерирует. В чем может быть проблема? Ну и конечно же хотелось бы увидеть какое нибудь сообщество, чтобы задавая вопросы хотя бы скрины приложить ) А то этот коммент выглядит так, будто я у чата gpt взял модель и почему то она не работает 😂😂😂
Да, ganы неприятные в обучении) Что можно попробовать сделать: Проверить, что обе модели обучаются. Если это tensorflow, то в обучающем цикле у всех моделей должно стоять training = true. Это неочевидно, но может быть в этом проблема. Также должно быть два градиент-тэйпа, две ошибки и два обновления весов. Если генератор хоть пытается что-то генерировать вначале, то оба обучаются и все нормально. Тогда можно сделать следующее: Уменьшить лернинг рэйт у дискриминатора. Вплоть до 1е-5, но обычно 1e-4. Помучать дискриминатор. Убрать последний полносвязный слой, сразу подавать на 1 выход (тут же проверяем активацию выхода, обычно она 'sigmoid'). Добавить туда-же в конец какой-нибуть большой дропаут (до 0.5, обычно 0.2 - 0.3) Добавить слой GlobalAveragePooling в конец. Это иногда помогает. Если продолжает не работать, можно скопировать гайд то тензорфлоу, он должен работать. Дальше смотреть, чем отличается ваш код от их. Насчет сообщества не подскажу. Сам бы много чего спросил) Может когда-нибудь тг чат организую...
@@КрасноТех пробовал. Сбить ошибку постоянно растущую удается только двойным проходом генератора, без обучения дискриминатора, но тогда он перестает обучаться, точнее на 50 эпохе вообще все перестает обучаться, по причине того что ошибка у дискриминатора болтается а районе 0.6. К слову может спишемся? Могу почту написать, а там уже в тг перейдем. А то тема интересная, а спросить неукого. Человек я нормальный, в том плане что доставать не буду, только по делу.
@@КрасноТех и да, чатик нужен. Не обязательно же только автору пишут, в чат приходят и умные люди, часто вопросы задают им, если конечно они не касаются ролика
Можете в тг написать krasnoteh@@doctors3301
А что за метрика?
FID, Можете погуглить Frechet inception distance, типа сравнивает, насколько похожи картинки. Тут я сравниваю исходную картинку с ее же версией после даунсэмплинга и расширения нейросетями