#3. Линейная модель. Понятие переобучения | Машинное обучение
Вставка
- Опубліковано 28 лют 2022
- Понятие линейной модели. Пример использования линейных моделей для задач регрессии. Полиномиальная линейная модель. Недостатки полиномов высоких степеней. Переобучение (overfitting).
Инфо-сайт: proproprogs.ru/ml
Телеграм-канал: t.me/machine_learning_selfedu
![Самая сложная задача из самой сложной олимпиады [3Blue1Brown]](/img/n.gif)
Прикольная тема, я так ради интереса один раз скачал датасет с содержанием СО2 в атмосфере от 60х годов по наше время и применил к ней линейную регрессию. Получилось что в ближайшее время нам ничего не угрожает, но к 2236 году уже станет не комфортно дышать так как СО2 превысит 800 единиц на кубометр, а к 2564 году дышать станет нереально (1400 частиц на кубометр)... и мы все умрём) Правда наверно для подобного прогнозов надо ещё 500 факторов учитывать)
Прекрасный цикл по ML, смотрю ваши видео недавно, прекрасно информативные видео! Очень детальные, и полны информацией. Продолжайте в том же духе!
Огонь 🔥 У вас педагогический талант. Спасибо вам
Ваши курсы - это спасение, качественный контент и подача информации простым и понятным языком. Спасибо большое 🙂
В этом году закончила вуз по направлению "Прикладная математика"
Всё думала о том:
"И как мне применить полученные знания?"
Начала смотреть ваши ролики по ML и поняла:
"Не зря пары не прогуливала)"
Очень интересно, продолжайте, пожалуйста!
Очень! Сергей, не могли бы вы в описание добавлять темы из математики, которые пересекаются с темой уроков?) Был бы очень признателен, возможно другие тоже.
Супер курс!!!!!
Друг, спасибо тебе за труд!
И еще, получается, что разложение в ряд Тейлора с большим числом членов не сходится к функции для больших х?
9:02 надо было тогда зелёные точки нарисовать на оси Х, раз для них строится прогноз, мне кажется так было бы понятнее.
рубрика топ!
более хорошего и понятного обьснения материала не найти!!!)))
👍👍👍👍👍
Прекрасные лекции. Как всегда отличная, дружелюбная подача материала. P.S. для таких же как и я пассажиров бронепоезда эта лекция станет немножко понятнее если пересмотреть урок Персептрон - возможности классификации образов, задача XOR | #2 нейросети на Python ua-cam.com/video/t9QfcFNkG58/v-deo.html
Здравствуй, смотрю твои уроки по Django, можешь, пожалуйста, сделать тему про мидлвари? Интересно было бы узнать и посмотреть)
Есть ли смысл в функции потерь использовать множитель 1/l? Ведь l - это константа и она не меняет итоговые значения коэффициентов модели.
Да, часто отбрасывают, все верно!
На счет разложения по: x, x^2,...x^n, правильно понимаю, что тут как бы базис в пространстве полиномов (первые n из ∞) и в результате этой "машиной аппроксимации" мы как бы представляем данные (или как назвать) в виде частичного ряда Тейлора?
А если бы взяли в качестве базиса, например, {sin(i*x), cos(i*x)}, то получили бы представление в виде частичного ряда Фурье?
С наятжкой можно и так сказать. А вообще, берем любые нелинейные преобразования и создаем новые признаки. При этом можно комбинировать и полиному и косинусы с синусами и т.п.
17 сен 2022
Позвольте, мы говорим о линейной модели, а затем начинаем повышать добавлять и степени многочлена. разве таким образом модель не перестаёт быть линейной?
Не перестает, если мы рассматриваем ее в пространстве n признаков. Если смотреть с позиции одного признака x, то конечно, нелинейная.
@@selfedu_rus правильно ли будет назвать в таком случае эту модель множественной регрессией?
@@vinylrave2185 нет, при множественной регрессии мы на выходе получаем вектор значений, здесь же имеем одно выходное значение для каждого входного вектора x.
3:58 график такой функции будет ведь совершенно четкой линией, а не разбросанными рядом точками. Если мы сразу знаем ее уравнение зачем ее приближать полиномом??
А, собственно шум эпсилон ее делает размытой? Тогда ясно. Лайкните, если это так)
Добрый день. У меня тоже есть глупый вопрос. Так как математику уровня выше школьной программы я изучаю самостоятельно, мне не понятно, что есть признак и почему он записывается как f(x).
признак - некое свойство объекта, например, ширина и длина жуков, или пиксели на изображении и т.п.
@@selfedu_rus спасибо большое
f1 и f2 как раз линейно независимы. А вот f0 (который равен 1), f1, f2 линейно зависимы.
f1, f2 линейно зависимы, т.к. отличаются только смещением на 5
@@selfedu_rus лучше все-таки повторить линейную алгебру...
А описание курса было "для начинующих". Начинающие редко со степенью в математике!!! Это все можно гораздо проще объяснять, а не непонятными большими формулами и сомнительными выводами
Ну если степени это сложно, то зачем тогда вообще лезть в ML?
@@roman_roman_roman деб*л, академическая степень, а не операция над числом!
Так и не понял где тут обучение. Даже ни какой IDE не открыл.
Если кому интересен мой путь синяков и ссадин - опишу). После дифференцирования получается система уравнений по количеству равная степени аппроксимации и соответственно неизвестных тетта. Мне показалось, что дальше сам собой напрашивается метод Крамера, я решил по хардкору написать сам функцию для подсчета детерминанта и дальнейший метод Крамера). До 7 степени результаты как у автора, после график куда-то улетает) и время расчетов растет, для 9ой степени минуты 2, дальше даже не рискнул пробовать. Вобщем забил на эту велосипедную деятельность, взял numpy и решил систему экстремумов функции ошибки через метод .linalg.solve(a, b). Не знаю каким алгоритмом считается там, но особых проблем нет ни с 50, ни с 100й степенью аппроксимации). Автору спасибо, курс интересный!
Добрый день. у меня вопрос. возможно глупый, но почему функция называется линейной? она же относительно x не линейна(в ней присутствую степени). Линейные модели потому и линейны потому что описывают линии, а не параболы гиперболы и тд и тп...
В статистике существует понятие подбора функциальнальной зависимости (тренда) ряда, и там как раз используются полиномы разной длинны, но они там тоже не называются линейными моделями...
модель линейна относительно подбираемых коэффициентов w, а не иксов )) во всем остальном вы совершенно правы!
@@selfedu_rus, а разве такие модели не входят в класс моделей нелинейных относительно включенных в анализ объясняющих переменных...?
@@foxfenya нет, смотрим только по переменным - это параметры w, все остальное как заданные значения
@@selfedu_rus Спасибо за пояснения
@@selfedu_rus Как тогда правильно интерпретировать. _Модель_ обучения линейная (относительно параметров), но результирующая _функция_ при этом может быть нелинейной? То есть в результате полином степени n представляется как гиперплоскость в пространстве расширенных параметров размерности n+1?