Градиентный Бустинг: самый частый вопрос на собеседовании на дата саентиста

Поділитися
Вставка
  • Опубліковано 14 січ 2025

КОМЕНТАРІ • 72

  • @GlebMikhaylov
    @GlebMikhaylov  4 роки тому +2

    Мой канал в телеге: t.me/mikhaylovgleb

  • @nataliaheine73
    @nataliaheine73 Рік тому +23

    Наконец-то кто-то человеческим языком на пальцах (то есть на коде, а не на мат. функциях) показал, как работает прицнип бустинга! Огромное спасибо!!!

  • @eduardtsuranov712
    @eduardtsuranov712 2 роки тому +19

    32:38 "Мы должны спускаться на ДНО и это мы не плохо умеем!" - ГЕНИАЛЬНО! За это отдельное спасибо! :) Ну и видео - класс! Благодарю!!!

  • @andreychernov7339
    @andreychernov7339 2 роки тому +14

    "Я могу здесь 100 поставить. Сколько хочу. Мой бустинг. Я его сам написал." 🤣 За юмор и понятное донесение материала отдельный респект)

  • @Felixalex
    @Felixalex Рік тому +18

    Смотрю видео Глеба не только для заполнения белых пятен, но и для поднятия настроения
    "мы аппроксимировали полностью - мы просто забили"

  • @ГеоргийКузьмин-о4я

    Мощно, очень доходчиво!!! (пришел с "Яндекс.Практикума", чтобы дополнительно разобраться)

    • @ЕкатеринаЯсная-б3н
      @ЕкатеринаЯсная-б3н Рік тому

      И я оттуда. Просто рыдала над градиентным бустингом там😩😭😭😭.
      Какие-то сумасшедшие формулы, пара слов - типа объяснили и в конце: вы освоили градиентный бустинг🤦‍♀️🤯

    • @МатвейТимофеев-д1ц
      @МатвейТимофеев-д1ц 7 місяців тому

      Поддерживаю коллег, все мы там будем. Теория вышла такой себе даже через год

  • @АльбусДамблодр
    @АльбусДамблодр Рік тому +1

    Глеб, ты лучший. Реально самое афигенное объяснение бустинга! Спасибо!

  • @SavushkinNM
    @SavushkinNM 4 роки тому +11

    Глеб, это бомба! Слушаю и кайфую

  • @МатвейТимофеев-д1ц
    @МатвейТимофеев-д1ц 7 місяців тому +1

    Раньше смотрел канал математика без ху%ни(это могла быть оплаченная реклама, но нет), теперь подпишусь на тебя.
    Спасибо за качественную подачу

  • @Апельсиновыедольки-з5п

    Глеб, супер! Не перестаю радоваться, что нашла Ваши курсы и обучаюсь

  • @vanyalaptop
    @vanyalaptop 7 місяців тому

    Глеб, спасибо тебе большое!) Очень и очень выручил. У тебя большущий талант объяснять такие, казалось бы, сложные вещи наипростейшим языком)

  • @gosyg
    @gosyg 4 роки тому +24

    Глеба в тренды!

  • @RomanSkrypinGPT
    @RomanSkrypinGPT Рік тому +1

    Ох, храни тебя Кришна, это очень доступное объяснение!

  • @НиколайВладимирович-к5ф

    Реально Глеб -Учитель года! Спасибо!

  • @mind.flow777
    @mind.flow777 Рік тому +1

    Спасибо тебе, добрый человек❤‍🔥
    Не пропадай надолго🙏😀

  • @angryworm80
    @angryworm80 Рік тому +2

    Человек на человеческом языке объясняет!! 👍🏻 Очень хорошее видео

  • @youknowwhatlol6628
    @youknowwhatlol6628 6 місяців тому +1

    май гад...спасибо большое, дружище!!! наконец понял эту тему....очень хорошее видео!!

  • @alexkibuk8950
    @alexkibuk8950 4 роки тому +12

    Ну и объяснения крайне доходчивые. В курсе нетологии Профессия дата саентсит так ужасно рассказывают что аж плакать хочется, хотя стоит >1.5k$ Большое спасибо за то, что ты делаешь!

  • @zukaroc
    @zukaroc 2 роки тому +12

    И Голлум просвистел:
    "Что имеет корни, которые никто не видит,
    Оно выше деревьев,
    Поднимается все вверх и вверх,
    Но в то же время никогда не растет?"
    - Это легко! - сказал Бильбо. - Я думаю, это градиентный бустинг: у него математические корни, которые никто не видит, он лучше всех решающих деревьев и постоянно повышает метрику качества, двигаясь вниз по направлению вектора градиента функции нескольких переменных в поисках глобального минимума функции потерь в пространстве весов.

    • @GlebMikhaylov
      @GlebMikhaylov  2 роки тому

      супер!!!

    • @tima_net3289
      @tima_net3289 2 роки тому +1

      Взорвался со смеху, спасибо xDDD

  • @Yayakimenko
    @Yayakimenko 2 роки тому +20

    Предлагаю выдать Глебу премию "Учитель года" 🙂

  • @wan_first
    @wan_first Рік тому +1

    Черт, эт лучшее видео по этой теме в принципе, Глеб - большое спасибо тебе за классный контент! Очень запомнилась фраза веселая - мы сопроксимировали по полной - мы просто забили на это ))))) Еще раз большое спасибо тебе за топовый контент!!

  • @MConstantine
    @MConstantine Рік тому +1

    Браво. Очень доступно, спасибо 🙏

  • @oleholeynikov8659
    @oleholeynikov8659 2 роки тому +1

    Материал пушка! Почему с этого не начинают другие преподаватели... спасибо за эксель и схему, я человек простой)))

  • @ShowMeJoy
    @ShowMeJoy Рік тому

    Это лучшее, что я видел за все время существования ютуба.

  • @kurmangazykarabekov6902
    @kurmangazykarabekov6902 2 роки тому

    Самое лучшее видео про градиентный бустинг. Спасибо!

  • @leshamas_
    @leshamas_ Рік тому

    Лучшее видео по градиентному бустингу, что я видел!
    "Я их сгенерила из того, что было"))

  • @baxai_
    @baxai_ 4 роки тому +1

    Огонь, просто бомба)
    Еще бы ссылочки видосов для самых ленивых

  • @Qrombo
    @Qrombo 2 роки тому

    Хорошо зашло. Спасибо, Глеб!

  • @БейбарсМусагалиев

    как будто посмотрел "идущий к реке" из мира МЛ. Автор прикольный.

  • @Ankara_pharao
    @Ankara_pharao 2 роки тому

    На пятнадцатой минуте я не выдержал и подписался. "Ученые какие-то выяснили.."

  • @romanrodin5669
    @romanrodin5669 2 роки тому

    Отличное видео! Глеб, большое спасибо!

  • @sergeybelousov8716
    @sergeybelousov8716 Рік тому

    Это было очень круто )

  • @АндрейГаврилов-и3в

    Объяснение огонь!

  • @sumailsumailov1572
    @sumailsumailov1572 2 роки тому

    Просто обалденно!

  • @alsetlaram7233
    @alsetlaram7233 2 роки тому

    11:13 а зачем вы дали на таргет residual? почему не у_true

  • @Химыч
    @Химыч Рік тому

    Огромное спасибо!

  • @vadimselin4386
    @vadimselin4386 2 роки тому

    "Сапроксимировать по полной" - фраза огонь)))

  • @dronnet
    @dronnet 2 роки тому +3

    Да уж, настолько просто что я даже не поверил то сначала. Кстати, давно заметил что на самом деле математика в МЛ не такая и сложная. В ней главное всё четко понимать, тогда всё прозрачно становится.

    • @tayjen59
      @tayjen59 Рік тому

      Точнее и не скажешь, главное все четко понимать

  • @nurlannurmash4155
    @nurlannurmash4155 2 роки тому

    Лучший просто)

  • @АлександрДергилёв-п8х

    Огонь!

  • @ДмитрийКоролев-ч8ь

    Глеб, супер! Благодарю!
    А где-то объясняешь вероятностный подход к линейной и логистической регрессии?

    • @GlebMikhaylov
      @GlebMikhaylov  2 роки тому +1

      Да, вот тут вот про логистическую регрессию и вероятности ua-cam.com/video/49ck7kCyxr4/v-deo.html

  • @SergeySkripko
    @SergeySkripko 2 роки тому +1

    Глеб, остался вопрос. А как все таки нормально можно было реализовать классификацию? И чем такая реализация ненормальна -- тем что возвращает скоры а не вероятности?

    • @GlebMikhaylov
      @GlebMikhaylov  2 роки тому

      Там с вероятностями какая-то неприятная математика начинается, вот тут можно посмотреть. blog.paperspace.com/gradient-boosting-for-classification/
      Но в целом я думаю можно взять и аутпут регрессии просто прогнать через сигмоиду и получится скор в диапазоне от 0 до 1, но вероятностью это не будет.

  • @РамильДаянов-э4ц

    А норм то что среднее это константное предсказание именно для mse, а в цикле другую уже используете?

  • @gavrilovAndrey
    @gavrilovAndrey 2 роки тому

    Очень полезное видео.

  • @LizaSkachkova
    @LizaSkachkova Рік тому

    Когда хочешь лайкнуть видео, а лайк уже поставил

  • @Lexx505FiL505Felix
    @Lexx505FiL505Felix 3 роки тому

    00:30 - работавзятели. Так на мой взгляд точнее будет.

  • @AlexxxeyS
    @AlexxxeyS 4 роки тому +5

    Отлично разложил, доходчиво, просто, задорно! Благодарю. Однажды на собеседовании в одну из крупных страховых компаний мне, как бы для начала, задали вот эту задачу ua-cam.com/video/UeJc42dkHKs/v-deo.html на 10 мин. Захотелось поблевать. Задачу не решил. Собес не прошёл, хотя про бустинг расписал канонически математически.

    • @ИванИванов-н9т9ъ
      @ИванИванов-н9т9ъ 4 роки тому

      Сначала я подумал, что работодатель просто отморозился от Вас. Но потом я поймал себя на том, что для меня непонятно (и это меня даже смутило), почему Вам захотелось поблевать, когда Вам задали задачу.. Вы так всегда реагируете или так совпало? Что ж, работодателя понять можно.

    • @AlexxxeyS
      @AlexxxeyS 4 роки тому

      @@ИванИванов-н9т9ъ это фигурально, никакой физиологии. 😀 Следующая задача была про цветные носки в тёмном шкафу, а затем уже тема видео.

  • @radionnazmiev546
    @radionnazmiev546 6 місяців тому

    Огромное спасибо что без формул)))))))))

  • @lil4sxvl440
    @lil4sxvl440 Рік тому

    спасибо!

  • @s..n..z
    @s..n..z 2 роки тому

    А на 27:24 мы разве не по тесту должны предиктить?

    • @GlebMikhaylov
      @GlebMikhaylov  2 роки тому

      я там комментирую, что для данной демонстрации это не важно

    • @НиколайМазнюк
      @НиколайМазнюк 2 місяці тому

      @@GlebMikhaylov вопрос: 26:24
      при разбиение на трейн\тест, как правильно инициализировать test['y_pred'] для тестовой выборки? допустим, в трейн выборке первое значение train['y_pred'] равно 1, правильно ли я думаю, что мы можем использовать это же значение для инициализации test['y_pred']?

  • @zenqezenqe9714
    @zenqezenqe9714 4 роки тому +9

    Про бустинг ты знаешь, а вот про логистическую регрессию? ;)

    • @YaroslavPoltaran
      @YaroslavPoltaran 4 роки тому +1

      Ждём теперь про лог рег :)

    • @Диванныйстратег
      @Диванныйстратег 4 роки тому

      Так вроде логистическая регрессия полегче кажется чем градбуст или хгбусты)))

  • @SavushkinNM
    @SavushkinNM 4 роки тому

    Глеб, привет! Думал, где задать вопрос, не нашел подходящего видео и решил написать здесь.
    Хочу спросить по поводу стратификации при провдении АВ-тестов или стат-тестов:
    Вот мы разбили на какие-то группы наших пользователей (условно, Гугл - Эпл) и делаем сэмплы для снижения дисперсии.
    Ок, дисперсия действительно может существенно сократиться, но это во многом зависит от размеров сэмплов: если мы будем брать сэмплы
    большие, то дисперсия, логично, будет меньше. Не понятно какого размера сэмплы мы должны использовать на практике.
    Аналогичная ситуация возникает при проведении статистических тестов (с чем я столкнулся на работе), когда распределение
    очень плохое и его можно оценивать либо Манна-Уитни, либо бутстрапом. Так вот не понятно какого размера сэмплы использовать в таком
    случае при бутстрапе..

    • @GlebMikhaylov
      @GlebMikhaylov  4 роки тому +11

      @SavushkinNM
      1.. Стратификация это когда мы хотим, чтобы сэмплы по своей структуре были максимально похожи на совокупность. Если в генеральной совокупности Гугл/Эпл == 90/10, то мы хотим чтобы эта же пропорция сохранилась в сэмпле. Сэмпл можно взять случайно, и тогда есть вероятность что пропорция не сохраниться. А можно взять стратифицированный сэмпл, и тогда пропорция 100% сохраниться.
      2.. Я вот не люблю оперировать дисперсией. Для меня она не удобна. Это конечно математично и научно, но не практично. Ты говоришь: “дисперсия действительно может существенно сократиться”, лучше сказать, что ошибка по отношению к совокупности уменьшается. Или просто, что семплы такие же, как совокупность. Т.е. стратификацией мы страхуемся от ошибки сэмплирования.
      3.. При больших сэмплах начинает работать закон больших чисел и стратификация происходит автоматически. Но все равно всегда лучше глазами посмотреть, что получилось.
      4.. На практике лучше всего использовать максимально большие сэмплы, тогда нам вообще не будет нужна ни стратификация, ни статистика вообще. Но в реальном мире большие сэмплы либо невозможны, либо очень дороги, поэтому мы при помощи статистики находим минимально необходимые сэмплы для той или иной задачи.
      Например, мы хотим проверить разницу в конверсии для двух групп. Для того чтобы определить необходимый размер сэмплов, нам нужно понимать 1) какая у нас базовая конверсия 2) какой минимальный прирост конверсии мы хотим обнаружить 3) с какими погрешностями -- альфа и бета (ошибки первого и второго рода). Идем в калькулятор www.evanmiller.org/ab-testing/sample-size.html , вводим данные и получаем размер для каждой из групп. Калькулятор посчитает минимально необходимый размер сэмплов для этого эксперимента.
      И дальше, когда мы будем формировать эти группы из наших клиентов, то нам надо задуматься о стратификации: надо чтобы группы были похожи на друг на друга, и так же на всю совокупность клиентов. Стратификация позволит быть более уверенным в том, что при составлении групп не произошло ошибки сэмплирования и группы перекошенные.
      5. Размеры сэмплов можно считать не только в онлайн калькуляторе, но и в питоне. Вот например у меня есть пример colab.research.google.com/drive/10DkHtLXsRHYSB7f5LMV5h5WW__uTcNHE . Для каждого теста размер групп тоже будет разный. Для ти теста один, для Манн Витни другой, для бутстрапа третий.Для бутстрепа например можно подбирать размер сэмплов тем же бустрепом: увеличивать размеры сэмплов пока не получим заданную мощность (1-бета). Для Ман Витни тоже можно посчитать размеры сэмплов -- надо гуглить.
      6. Но важно понимать, что для статистических тестов стратификация это вопрос независимый от расчета размеров сэмплов. Т.е. ты сначала считаешь какие сэмплы тебе нужны, а потом думаешь как их стратифицировать (и можно ли). Но чем больше получаются сэмплы, тем более они стратифицированы сами по себе.

    • @ГульданикаОсмонова
      @ГульданикаОсмонова 5 місяців тому

      @@GlebMikhaylov а вы берете в личное менторство¿

    • @GlebMikhaylov
      @GlebMikhaylov  5 місяців тому

      @@ГульданикаОсмонова нет, личного менторства у меня нет. Есть только курсы

  • @felixmusic3645
    @felixmusic3645 4 роки тому

    Ах вот оно чë!

  • @petyap7600
    @petyap7600 4 роки тому +5

    Ха-ха