Лекция. LSTM, GRU
Вставка
- Опубліковано 10 лют 2025
- Занятие ведёт Татьяна Гайнцева
Ссылка на материалы занятия:
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
Поддержать канал можно по ссылке dls.samcs.ru/r...
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/
Официальная группа ВК: dlschoo...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...
Татьяна Гайнцева, королева ML/DL по объяснению
Наконец-то кто-то объясняет нейросети нормально. Спасибо❤
Прекрасное объяснение, спасибо большое
Спасибо, все понятно!
Спасибо, очень круто )
Хочу спросить кое-что (может быть кто-то да ответит). Скрытое состояние ht в рамках ОДНОГО нейрона (рекуррентного или LSTM нейрона - не важно) - это число или вектор? По идее, один нейрон (любой), в целом принимает серию сигналов со слоя ниже (серию значений - по одному числу от каждого нейрона ниже, которые вместе дают вектор входных значений), перемножает эти сигналы на свой вектор (в рамках этого одного нейрона именно вектор, а не матрица) весов, добавляет смещение, все это складывает и получает некоторое число. И к этому числу применяет функцию активации (например ReLU), добавляя нелинейность и этот свой собственный сигнал передает каждому нейрону следующего уровня. Однако в видео постоянно говориться так, словно скрытое состояние - это не просто число, а именно вектор. ht - это действительно вектор, даже в рамках только одного нейрона? Или же, имеется ввиду весь слой LSTM, для всех нейронов которого группа скрытых значений представляет из себя вектор?
И еще, что подразумевается под "прогоняем через ПОЛНОСВЯЗАННЫЙ слой" (16:35)... LSTM слой похож на сеть Хопфилда, где каждый нейрон делится своим скрытым состоянием со всеми соседними нейронами (~полносвязанность)? Или, если ht - это все же вектор даже в рамках одного LSTM-нейрона, то, грубо говоря, прямо внутри такого нейрона находится внутренний нейрон, который состоит из двух слоев одной размерности и отвечает за преобразование конкатенации ht и xt в ot?
Здравствуйте, Татьяна! Спасибо большое за Ваши лекции! Они изумительны и очень детальны. :) Поясните, пожалуйста, при забывании происходит перемножение на вектор с величиной от 0 до 1. Праивльно понимаю, что "забывание" все-таки происходит случайным образом, и не реализуется выборочное забывание? Или же оно получается более или менее выборочным за счет того, что значения от далеких ячеек маленькие, и в большей степени "забываются" они?
Наверно нужен доп. монтаж на 12:00-12:30
Семинар после этой лекции: ua-cam.com/video/ql0VbSPsDCs/v-deo.html