Глубинное обучение. Представления внутри сверточных нейросетей. Школа анализа данных, Яндекс
Вставка
- Опубліковано 15 лис 2021
- Лекция посвящена представлениям данных, выучиваемым сверточными нейросетями. Рассматриваются разные способы визуализации и анализа подобных представлений. Обсуждаются атаки на нейросети, а также генерация искусственных изображений-иллюзий для нейросетей. Обсуждается способность больших сверточных нейросетей к переобучению под произвольные выборки. Заключительная часть лекции посвящена трансферу знаний с применением сверточных нейросетей.
- Наука та технологія
В части про transfer learning очень не хватило про learning rate. О том можно ли брать просто обычный Adam c learning rate'ом 0.001 и все обучится хорошо, или нужно брать какой-то маленький learning rate, иначе из-за больших градиентов в начале вся выученное ранее просто собьется.
1:09:49 так, кто-то спалился за приёмом психодееееелов
Это вам на пол года, бро