Так как рассказывает Радослав, стоит многим поучиться ) Однако слушая лекции все время ловлю себя на мысли про понятие Стохастический градиентный спуск, батчи. У Радослава, когда упоминается Стохастический спуск - тут нужно смотреть какой он делится по одному или нескольким элементам, а батч - это случайная подвыборка объектов, У Andrew Ng, когда упоминается Стохастический спуск - это всегда про один элемент, батч - это все объекты, минибатч - случайная подвыборка из батча.
Седня разбирался сам с этим, как я понял это импульс p=m*v (где m масса, v скорость) тогда если дальше в формулу подставить получится Ek кинетическая энергия m*v*v без константы 1/2
Вставлю сюда один хороший комментарий к слайду момента Нестерова: В первой написано: x[t+1]=x[t]−α(ρv[t]+∇f(x[t])) - то есть, возьми накопленный момент, прибавь к нему текущий градиент в точке x[t] и на полученную сумму, помноженную на альфу, отступи от точки x[t] назад. Во второй написано: x[t+1]=(x[t]+ρv[t])−α∇f(x[t]+ρv[t])) - то есть, сначала от текущей точки x[t] отступи на накопленный момент и получи новую точку x[t]+ρv[t], а потом в ней посчитай градиент и отступи на него с минус альфой. То есть, ровно то, что нарисовано на картинках.
Мой уровень не такой крутой. Но можно видео сделать про результат моделей: почему результат модели не стремится к цели, но Loss все меньше и меньше. В идеале должен результат модели равняться цели? Какие параметры для линейного слоя если inp_x=[50], кол-во тестовых выборок около 500, цели 0,1,2. Сколько эпох рекомендуется и как выбрать их кол-во? Много перечитал и пересмотрел всяких обучалок, но конкретно никто ничего не говорит...
Дай бог здоровья лектору и долгих лет жизни, что б больше лекций слушать его. Благодаря нему смог разобраться в нейронных сетях
Радослав, у Вас одна из самых лучших подач материала! Спасибо большое за лекцию! ☺☺
Так как рассказывает Радослав, стоит многим поучиться ) Однако слушая лекции все время ловлю себя на мысли про понятие Стохастический градиентный спуск, батчи.
У Радослава, когда упоминается Стохастический спуск - тут нужно смотреть какой он делится по одному или нескольким элементам, а батч - это случайная подвыборка объектов,
У Andrew Ng, когда упоминается Стохастический спуск - это всегда про один элемент, батч - это все объекты, минибатч - случайная подвыборка из батча.
Отличный лектор!!!!
хорошая лекция, спасибо
Большое спасибо, прекрасная лекция
благодарю, хорошая лекция, доступно и понятно!
Отличная лекция
Наиболее оптимальным методом 😂👍
хорошая лекция. для лучшего понимания слушал ее на скорости 0.85.
*1.75
А можно, пожалуйста, объяснение шутки про lr в ADAM (константу Карпатова)?
Функция сигмоиды f(a) = 1 / 1 + e^-1, разве нет?
16:31 Кажется, потерялась константа в формуле для значения признака с импульсом Нестерова. Роу - это же какой-то гиперпараметр?
Седня разбирался сам с этим, как я понял это импульс p=m*v (где m масса, v скорость) тогда если дальше в формулу подставить получится Ek кинетическая энергия m*v*v без константы 1/2
Вставлю сюда один хороший комментарий к слайду момента Нестерова:
В первой написано:
x[t+1]=x[t]−α(ρv[t]+∇f(x[t])) - то есть, возьми накопленный момент, прибавь к нему текущий градиент в точке x[t] и на полученную сумму, помноженную на альфу, отступи от точки x[t] назад. Во второй написано: x[t+1]=(x[t]+ρv[t])−α∇f(x[t]+ρv[t])) - то есть, сначала от текущей точки x[t] отступи на накопленный момент и получи новую точку x[t]+ρv[t], а потом в ней посчитай градиент и отступи на него с минус альфой. То есть, ровно то, что нарисовано на картинках.
Мой уровень не такой крутой. Но можно видео сделать про результат моделей: почему результат модели не стремится к цели, но Loss все меньше и меньше. В идеале должен результат модели равняться цели? Какие параметры для линейного слоя если inp_x=[50], кол-во тестовых выборок около 500, цели 0,1,2. Сколько эпох рекомендуется и как выбрать их кол-во? Много перечитал и пересмотрел всяких обучалок, но конкретно никто ничего не говорит...
А почему sgd остановился на вершине седла?
Потому что поймал локальный минимум и не может выбраться из него
22:50 знаменатель д.б. под корнем
дед объясняет мемы)