Что такое градиентный бустинг? | Григорий Будорагин | karpov.courses
Вставка
- Опубліковано 26 вер 2024
- Учитесь ML с нами:
Симулятор ML: bit.ly/3Lhk0wi
Курс Start ML: bit.ly/3ZA8vEL
Курс Hard ML: bit.ly/3J48EsV
Градиентный бустинг - ключевой алгоритм машинного обучения для табличных данных. Его используют в поиске, подборе цен и в противодействия мошенничеству.
Сегодня вместе с аналитиком-разработчиком Яндекса, Григорием Будорагиным, мы разберёмся, как алгоритм обучается на данных и прогнозирует числовые величины на примере цен домов.
Я не очень понял почему 230 футов меньше 200.
Действительно)
я извиняюсь, на слайде 'да' и 'нет' перепутаны местами на первом разделении
@@bdrgn думаю дело не в словах а в знаке условия
про ГРАДИЕНТНЫЙ бустинг вообще ни слова
Рисовка класс, формат понравился, в идеале делать ролики такого же формата, но с более глубоким погружением в ML (ну это так, хотелка), спасибо авторам!
Спасибо! А где глубины не хватило в этой теме?
@@bdrgn объяснение показалось верхнеуровневым, что для такой длительности видео даже хорошо, но если бы лекции были подлиннее и «поглубже» с формулами и тд, было бы просто прекрасно! Обычно такая тема как бустинг и деревья объясняется час+
@@АлександрЕлизаров-ш5н сегодня вышло моё длинное видео про градиентный бустинг. там без формул, но зато сразу с кодом.
ua-cam.com/video/J56xpgadgzY/v-deo.html
Эммм…
1-е: насколько я помню дерево регрессии на обучении все таки формально не MSE на расщеплении считает, а дисперсию 🫤✌🏻 … и соответственно старается минимизировать суммарную дисперсию расщепления. Хотя с точки зрения формул все одинаково.
2-е. На N+1 шаге прогнозируется НЕ величина ошибки на N шаге, а значение градиента функции ошибки при имеющемся значении на N шаге. Ибо именно градиентом потом делается Sn+1 = Sn - @ * grad
переживал, что моего понимания математики не достаточно для вкатывания в ML, тут разработчик яндекса MSE от дисперсии не отличает... шопроисходит вообще?
Круто!!!! Очень даже понятно👍👍👍
Спасибо, хорошее объяснение
У меня вопрос: преподаватели на курсах умеют реализовывать с нуля такие алгоритмы без sklearn? Я это к чему...перед бустингом надо было бы рассказать про ансамбли и случайные леса, и роль бутстрапа в этом, потом про дерево классификации и регрессии CART, про бинарное дерево, работающее через рекурсию, потом про то, что в случае классификации наилучший вопрос берется по gini index, а в регрессии по mse, а потом это все забилдить с нуля. Только тогда у студентов будет полное понимание бустингов. Советую всем проделать эти шаги с нуля и полностью всё изучить т.к. бустинг - это серебряная пуля в мире ML. Но за видос спасибо, задумка харошая, жаль что раскрыта не до конца.
Вы прямо в яблочко попали про имплементацию алгоритмов без sklearn! Тут как раз вышло моё видео, где пишу с нуля градиентный бустинг на Python: ua-cam.com/video/J56xpgadgzY/v-deo.html
@@bdrgnого, вот это вы круто сделали, сейчас буду смотреть ибо я такие штуки очень люблю). На мой взгяд, реализация алгоритмов с нуля - это самое важное в обучении ml. Респект👍
У меня вопрос теоретического плана: я ем капусту, сосед ест мясо, в среднем, мы едим голубцы. Почему алгоритмы машинного обучения используют среднее значение, а не медиану?
Если распределение нормальное, то среднее и медиана попадают в одну точку. В остальных случаях ошибка ниже при прогнозировании с помощью среднего, потому что оно лучше отображает тенденцию распределения.
А нормализация распределения разве не работает только (в большинстве реальных случаев) при большом числе наблюдений? Насколько уместно ожидание нормальности от распределения в реальной жизни?
Так и от капусты с мясом медианой будут голубцы 🙃
@@Devof-n9i условно если применил log/Бокса-Кокса к цене, а на выходе делаешь exp от log цены - держи в уме Jensen inequality и выпуклость.
@@pupuneux , будут "деревенские" голубцы а не "купеческие".
Формула MSE не правильная.
Сказано, что это предсказание - среднее, но на самом деле это предсказание - истинное
Эмм, а с каких пор MSE использует разницу между средним значением и значением таргетов? Дерево выбирает предикаты уменьшая дисперсию, а не MSE. Зашёл посмотреть про градиентный бустинг, а тут такое...
«Алгоритм обучает прогнозировать ошибку предыдущего дерева», а как? Тема в видео не раскрыта!!!
От чего происходит название градиентный бустинг и как оно связанно с деревьями?
Градиентный бустинг может использовать в качастве слабого алгоритма не только деревья, но и другие алгоритмы. Деревья просто самый популярный из них, поэтому именно они используются в видео. Как правило сегодня когда говорят бустинг подразумевают ансамбли деревьев.
Бустинг называется градиентным, потому что при обучении каждого нового алгоритма используется ошибка предыдущих. Каждый новый обученный алгоритм это «шаг» градиентного спуска в направлении снижения ошибки.
Можешь для иллюстрации загуглить 'линейный градиент', там будем картинка с постепенным изменением цвета/цветов. Таким же образом меняются деревья при помощи градиентного бустинга, постепенно от одного состояния к другому
У меня вопрос...
Почему он вместо MSE считает дисперсию? Он точно знает что такое MSE?
Из цены нужно вычитать не среднее, а предсказанную моделью цену
Цена дома в 230 кв.футов должна быть $200k
откуда берутся 220 и 80 я не понимаю
Наконец то понятно и доходчиво. Спасибо!
Кажется еще MSE должен быть в 10^6 раз больше
Ни слова про сам градиентный бустинг. Опять воспитывают жертв онлайн курсов, которые не понимают, как работает алгоритм и как им управлять. Сколько уже собеседовал подобных жертв - всегда одно и то же: в голове только шаблонные фразы без понимания, что за ними стоит. Чуть-чуть глубже начнешь копать и понимаешь, что в голове то каша...
И все же я не понял, как он выбрал задать первый вопрос к площади дома, а не количестве спален, допустим
Модель проверила оба варианта, и выяснила, что если выбрать площадь дома для первого вопроса, получится снизить ошибку в данных наибольшим образом.
Не совсем понятно про бустинг. Про деревья ещё более менее понял, но я не ради этого сюда зашёл на видео.
Тема градиентного бустинга не раскрыта полностью.
Был такой физик Фейнманн, его называли великим объяснятелем: он мог объяснить суть Вселенной даже ребёнку.
Вам нужно стремиться к нему же: расскажите про бустинг на бананах и яблоках - слава придёт к вам семимильными шагами!
Пока что ставлю диз. Тема не раскрыта.
Что то я не понял. В итоге придем к дереву которое должно давать среднее значение цены. И зачем такое дерево? Я наверно что то не понял