Я поражен. Видел десятки объяснений метода максимального правдоподобия. Но это самое понятное. Вы мой проводник по миру машинного обучения. Огромное вам спасибо, Вадим Леонардович!
Здравствуйте! Не до конца понял как разница между фактическим значением отклика и предсказанным может быть любым числом в каком то промежутке, в задаче классификации. Ведь если на выходе f1 для какого то наблюдения получаем 1, а на деле там 0, то разве разница не 1(по модулю)? Или это работает только в случае бинарной классификации.
Происходит модификация задачи. Вместо распознавания кода класса распознается вероятность принадлежать классу. И на выходе может получаться любое число между 0 и 1
Существуют ли какие-то общие принципы оценки репрезентативности выборки? Как прикинуть ее сбалансированность и как это прикидка будет зависеть от объема данных? Или это все экспертные оценки аналитика и общего подхода в таких вещах нет?
@@Vadim_Abbakumov Здравствуйте Вадим Леонардович, Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”? Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу. Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в создании класса “не знаю”?
@@Vadim_Abbakumov спасибо за ответ! Очень хорошие лекции, лучшее что я видел в интернете. Если я не ошибаюсь, csc это проект ШАДа? Большой привет с Екатеринбургского матмеха, приезжайте к нам на змш)
@@dronorange8595 Спасибо. За высокую оценку курса особенное спасибо. В CSC одно из отделений это Петербургский филиал ШАД, мой курс читается там. Уже год преподавание везде только из дому, все с записью курсов. Консультации по скайпу. Даже начал привыкать, думал никогда не смогу... Екатеринбургскому матмеху привет от Санкт-Петербургского матмеха. Несколько коллег ваши выпускники, классные ребята.
Немного неясно в части GBN. Получили мы f1, f2, ...fn. А итоговый предсказанный Y - это сума результатов по всем f ? То есть, итоговый предсказанный Y = f1(x) + f2(x)+...+fn(x) ?
Так в XGBoost'e, а в GBM каждое дерево еще умножается на свое ро (см формулу 3), а затем еще на некоторую общую для всех деревьев лямбду. Только потом складываем.
Здравствуйте Вадим Леонардович, Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”? Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу. Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в классе “не знаю”?
В некоторых задачах смысла нет. А в некоторых есть. А аналитик думает и решает, нужно ли в его задаче использовать класс "не знаю". Например, если он формирует целевую аудиторию рекламной кампании, то класс "не знаю" сэкономит деньги его заказчику. Да и в банке в Вашем примере непонятные заявки можно передать на рассмотрение эксперту, кредитному менеджеру. Если таких заявок не 1200, а 60, это ему посильно. Кроме того, если в 60% случаев модель не знает, то ее стоит доработать. Ведь не знаю означает, что для таких заемщиков слишком велик процент ошибок. Кроме того, threshold должен определять не аналитик, а кредитный комитет.
Я поражен. Видел десятки объяснений метода максимального правдоподобия. Но это самое понятное.
Вы мой проводник по миру машинного обучения.
Огромное вам спасибо, Вадим Леонардович!
Спасибо за объяснение философии метода максимального правдоподобия, после нескольких лет я наконец понял откуда он берется 😤
супер!!!!
Здравствуйте! Не до конца понял как разница между фактическим значением отклика и предсказанным может быть любым числом в каком то промежутке, в задаче классификации. Ведь если на выходе f1 для какого то наблюдения получаем 1, а на деле там 0, то разве разница не 1(по модулю)? Или это работает только в случае бинарной классификации.
Происходит модификация задачи. Вместо распознавания кода класса распознается вероятность принадлежать классу. И на выходе может получаться любое число между 0 и 1
@@Vadim_Abbakumov Понял, спасибо Вам!
Жаль, что notebook с этой лекцией нет на сайте.
Вадим Леонардович, не могли бы вы объяснить, в чем смысл выборки валидации и чего мы хотим достичь с её помощью?
Подобрать внешние параметры (гиперпараметры). Подбирать на тестовом множестве неправильно.
Существуют ли какие-то общие принципы оценки репрезентативности выборки? Как прикинуть ее сбалансированность и как это прикидка будет зависеть от объема данных? Или это все экспертные оценки аналитика и общего подхода в таких вещах нет?
Все есть, есть тесты, есть книги
Гуглите что-то вроде
Checking the Representativeness of a Sample
00:31:05 Метод максимального праводоподобия
жаль что в прикрепленных файлах нет ноубука, там только 3 пдф статьи, было бы здорово создать репозиторий курса на гитхаб
Репозиторий скоро будет, в рамках новой версии курса, который сейчас записывается в ИТМО
@@Vadim_Abbakumov Здравствуйте Вадим Леонардович,
Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”?
Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу.
Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в создании класса “не знаю”?
@@Vadim_Abbakumov если курс записан, можете дать ссылку на репозиторий?
@Вадим Аббакумов, а где вы преподаете?
Computer Science Center. Но основное место работы Газпром-нефть. В этом году еще читаю курс в ИТМО
@@Vadim_Abbakumov спасибо за ответ! Очень хорошие лекции, лучшее что я видел в интернете. Если я не ошибаюсь, csc это проект ШАДа? Большой привет с Екатеринбургского матмеха, приезжайте к нам на змш)
@@dronorange8595 Спасибо.
За высокую оценку курса особенное спасибо.
В CSC одно из отделений это Петербургский филиал ШАД, мой курс читается там.
Уже год преподавание везде только из дому,
все с записью курсов. Консультации по скайпу. Даже начал привыкать, думал никогда не смогу...
Екатеринбургскому матмеху привет от Санкт-Петербургского матмеха. Несколько коллег ваши выпускники, классные ребята.
Немного неясно в части GBN. Получили мы f1, f2, ...fn. А итоговый предсказанный Y - это сума результатов по всем f ? То есть, итоговый предсказанный Y = f1(x) + f2(x)+...+fn(x) ?
Так в XGBoost'e, а в GBM каждое дерево еще умножается на свое ро (см формулу 3), а затем еще на некоторую общую для всех деревьев лямбду. Только потом складываем.
@@Vadim_Abbakumov Большое спасибо за ответ.
Здравствуйте Вадим Леонардович,
Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”?
Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу.
Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в классе “не знаю”?
В некоторых задачах смысла нет. А в некоторых есть. А аналитик думает и решает, нужно ли в его задаче использовать класс "не знаю". Например, если он формирует целевую аудиторию рекламной кампании, то класс "не знаю" сэкономит деньги его заказчику. Да и в банке в Вашем примере непонятные заявки можно передать на рассмотрение эксперту, кредитному менеджеру. Если таких заявок не 1200, а 60, это ему посильно. Кроме того, если в 60% случаев модель не знает, то ее стоит доработать. Ведь не знаю означает, что для таких заемщиков слишком велик процент ошибок. Кроме того, threshold должен определять не аналитик, а кредитный комитет.
@@Vadim_Abbakumov Большое спасибо за развёрнутый ответ!