РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линейная регрессия | LinearRegression | МАШИННОЕ ОБУЧЕНИЕ
Вставка
- Опубліковано 16 чер 2024
- Практическое задание boosty.to/machine_learrrning/...
Поддержать канал можно оформив подписку на boosty.to/machine_learrrning
Канал в TG t.me/machine_learrrning
Группа в VK machine_learrrning
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
Вопросы, на которые найдем ответы в этом видео:
Что такое линейная регрессия?
Как обучить LinearRegression из sklearn?
Как написать свою реализацию LinearRegression?
Что такое градиентный спуск?
Метрики регрессии • МЕТРИКИ РЕГРЕССИИ В МА...
Ноутбук из видео colab.research.google.com/dri...
0:00 Вводная
0:08 Что такое линейная регрессия в общих чертах
0:37 Разные линии ax + b
2:25 Получение данных
3:11 Обучение LinearRegression из sklearn
3:39 Коэффициенты у линейной регрессии .coef_, .intercept_
4:04 Отрисовка линейной регрессии
4:40 Предсказания линейной модели .predict()
4:54 Предсказания линейной модели через коэффициенты
5:14 Построение другой линейной регрессии
5:53 Сравнение линейных моделей по отклонению
6:56 Сравнение линейных моделей по метрике MSE
7:30 Как обучается линейная регрессия?
7:49 Оптимизация MSE
8:55 Градиентный спуск
8:59 Что такое градиент
9:54 Антиградиент
10:13 Градиент на примере гор
11:26 Реализация градиентного спуска на python
13:15 Скорость обучения (шаг обучения) в градиентном спуске
14:21 Второй шаг градиентного спуска
14:56 Цикл градиентного спуска
16:40 Критерий остнова градиентного спуска по коэффициентам
18:17 Алгоритм градиентного спуска
18:59 Реализация линейной регрессии через градиентный спуск
19:30 Реализация функции MSE и производная MSE
21:58 Цикл обучения линейной регрессии на одном признаке
24:30 Обучение многомерное линейной регрессии
24:54 Обучение LinearRegression из sklearn
25:06 Веса линейной регрессии
25:54 Предсказания LinearRegression .predict()
26:03 Предсказания линейной модели через веса
26:23 Подсчет метрики MSE
27:51 Реализация линейной модели на python
28:03 Линейная регрессия - это скалярное произведение
29:05 Свободный вес в линейной регрессии
29:15 Фиктивный признак
29:50 MSE в матричном виде
30:48 Реализация функции MSE и градиент MSE
31:56 Инициализация весов
32:12 Цикл обучения линейной регрессии
34:14 Практика на boosty.to/machine_learrrning
35:05 Резюме занятия
Music: www.bensound.com
Эта булочка все так классно объясняет😄, одни из немногих видео по DS которые я реально понимаю, пересматриваю по много раз, чтобы запомнилось лучше.
наверное лучшее объяснение на СНГ и англоязычном ютубе
Дякую, неймовірно класні відео, в 100 разів цікавіше ніж лекції в університеті
Как всегда огромные слова благодарности за Ваш труд!!! Сколько всего интересного!
Это потрясающе, я наконец то понял где применяется градиентный спуск, СПАСИБО!
Еще бы линейную классификацию))))
Очень рада, что с помощью моего видео получилось понять градиентный спуск 😊
Записала в пожелания линейную классификацию
Знаете, я увидел Ваше видео кас обратного распространения ошибки и подумал: "Что? Юная девушка с ушками мне будет рассказывать про нейро-сети?" Я учусь на курсе по нейро-сетям у профи, но ничего не могу понять. И тут Вы разбираете обратное прохождение через вычисление производных в точках сети и все совершенно понятно.Как так.... Визуализация функции потерь в данном видео - гениально. В общем, это лучшее обучающее видео, что я видел! Не знаю, кто написал эту лекцию и обучающий код, но это преподаватель высшего класса. Спасибо, что вы есть! Сейчас слушаю все видео на Вашем канале с самого начала - балдеж!
Очень рада, что видео Вам понравилось!
Я самостоятельно во всех этих вещах разбиралась и тоже не всегда всё понимала, т.к. информация дается либо очень заумно, либо поверхностно и разрозненно, в процессе осознала, что если разобрать всё на мельчайшие базовые и легкие детали, то знания будут запоминаться и пониматься без проблем. Вот этот механизм и стараюсь использовать в своих роликах :)
@@machine_learrrning Юлия, я 3 месяца пытался детально разобраться, т.к. идея градиентного спуска и ф. ошибки она же везде в ML. Прослушал курс дист. пересмотрел десятки видео на ю туб и статьи -все туман. А вы разложили все так подробно, что на самом низком уровне понимаешь, как это работает. Единственно, я не понял, почему, когда вы отрисовываете градиент(производную) к параболе в точке Х=5 она не является фактически производной (т.е. касательной к функции). У вас в коде: "Можем отрисовать направление градиента, он показывает наискорейший рост функции и действительно видим, зеленый вектор идет вверх." next_point_1 = start_point + grad
plt.plot([start_point, next_point_1], func(np.array([start_point, next_point_1])), '--g', label='grad')
Можете пояснить? Или это просто для иллюстрации направления гралиента?
@@alexeykolesnik9038 Да, это для иллюстрации градиента. Куда нужно двигаться при шаге градиентного спуска
Спасибо, мало кто в состоянии объяснить так лаконично и доходчиво
Спасибо! Действительно, очень классное объяснение для тех кто пытается в этом разобраться!!!
Пока что для меня ваш канал и подача материала это наиболее полезная форма. Между мамкиными датамашинлернерами и ядерными курсами по ML. Спасибо за вашу отличную работу
Спасибо вам огромное!! Ваше видео помогло при сдаче лабораторной! Счастья вам и успехов!
У вас огромный талант, как у специалиста ML и преподавателя. Вы печатаете, рассказывая происходящее, и это всё понятными словами, с минимумом отпечаток в коде! Вау! Ваши видео ни раз выручали меня при выполнении учебных проектов, суть которых "научи от А до Г, от Д до Я пусть сами ищут. Поэтому я зарегистрировался на ваш курс и не пожалел. Курс у вас просто отменный. Можно вам предложить идею видео: основы ООП для создания пайплайна.
Спасибо огромное за такие приятные слова!
Идею записала, спасибо :)
Тудым-сюдым... человеческими шагами ))) Шикарно!
Огромное спасибо за отличные гайды. Стало гораздо понятнее. Подписался)
Отличное объяснение! Все системно и последовательно. Спасибо!
Спасибо большое за замечательное объяснение )
Спасибо! Все очень круто, жду следующих обучающих видеоуроков!
наконец то нашел видос где обьяснение это действительно обьяснение, а не 1.5 часа понтов лектора какие он знает приемчики из линейной алгебры
Отлично!
Отличный канал!
Это прекрасно
огромнейшее спасибо за видео, всегда круто объясняете
Лучшее что есть на русском по ML
хочу отметить, что предсказание модели нельзя делать на обученных данных (блок подсчет метрики MSE). для тех , кто только начал изучать это может вызвать затруднение и в дальнейшем неправильное понятие модели предсказания
Мне, конечно, интересно, что может быть в платных курсах на степике, если и в бесплатном доступе я получил совершенный урок
круто. спасибо. у меня заняло два!(два месяца карл) чтоб это понять наконец на low level ) но я и другое учил параллельно. умный... че сказать
Не важно, сколько заняло, важно, что получилось понять :)
Ставь класс если твоя жизнь - это социальный градиентный спуск
Юлия, вопрос про многофакторную регрессию. Может быть ситуация, что два фактора взятые по-отдельности это просто шум и по одному они как бы не влияющие. Но если их рассмотреть в паре, как-то их связать, то они дают четкое влияние на искомый результат. Как модель обучения учитывает эту ситуацию?
Заранее спасибо! И ушки клёвые)
Чудесные уши)
Спасибо :)
У меня есть вопрос: в случае, когда вы берете в пример функцию x**2 и используете градиентный спуск, вы используете его только для наглядности? - я имею в виду, можно ли было использовать просто метод нахождения локального минимума приравниванием производной к нулю для нахождения минимального (оптимального значения )?
Умничка , материал топ !😊
Спасибо большое за информативное детальное видео! Накопились , скорее всего, глупые вопросы:
Получается, что во время стадии "обучение модели" с помощью sklearn градиентный бустинг уже имплементирован внутрь sklearn.LinearRegression, раз на выходе мы получаем сразу готовые коэффициенты?
да, в целом так и происходит, градиентный спуск имплементирован внутри sklearn модели.
В sklearn.LinearRegression нахождение весов реализовано через qr разложение, а вот LogisticRegression и SGDRegressor уже через градиентный спуск
Поясните, пожалуйста, как из градиента=10 мы пришли к вектору, который изображен на графике? Как с помощью этого одного этого числа получилось построить направление роста функции? Просто тут градиент выглядит как точка..
привет, большое спасибо, будет ли туториал по логистической регрессии?
Привет, пожалуйста, очень рада помочь!
Да, планирую такое видео с разбором устройства линейной модели для классификации.
Можно ли ссылку на ноутбук?
Ссылка на ноутбук есть в описании
ох уже эта бархатная эр, паровозик тыр тыр))))
18:43 - не понятно , если нам нужно найти функцию , мы уже ее используем для поиска минимума ? Нам же функция за ранее не известна !