Машинное обучение. Метод опорных векторов. К.В. Воронцов, Школа анализа данных, Яндекс.
Вставка
- Опубліковано 1 тра 2020
- Снова линейный классификатор. Принцип максимума ширины зазора между классами приводит к выпуклой задаче квадратичного программирования, которая имеет массу замечательных свойств. Во-первых, её решение единственно. Во-вторых, оно зависит не от всей выборки, а только от горстки объектов на границе между классами, которые и называются опорными векторами. В-третьих, заменяя скалярное произведение между объектами (не совсем) произвольной функцией от пары объектов, можно из линейной модели классификации получить нелинейную. Это один из самых красивых математических трюков во всём машинном обучении. Наконец, заменяя общепринятую L2 регуляризацию более экзотическими регуляризаторами, можно наделить SVM свойством отбора признаков. Интересный общий вывод: в линейных моделях негладкость функции потерь приводит к отбору объектов.
- Наука та технологія
спасибо за лекцию
Потрясающе❤ спасибо!
А вы поняли как нормировку делать? Я просто тапочек и что то не понял, что значит выберем min( M )= 1. Ну то есть для конкретного вектора w, w_0 можно найти такое число А, что min( M )= 1, но тогда надо заранее знать w, w_0. Сложна... (Про это говорят в видео где то около ~ 8 минуты 5 секунды)
Сидел копался, понял, что в общем то это ни на что не влияет. Можно хоть 10 поставить - результат оптимизационной задачи будет такой же. И эту нормировку не надо проводить специально, как я думал ранее, так как оно уже вложено в систему неравенств, сводимую к ||w|| / 2 + C Σ(1-M)_(+) -> min.
Можно написать ||w|| / 2 + C Σ(10-M)_(+) -> min или ||w|| / 2 + C Σ(666 - M)_(+) -> min и результат будет тот же. Но при этом решение градиентным способом может чуть по разному проходить, но сходится должно к одному ответу.
Можно ли утверждать, что в SVM поиск опорных векторов - это поиск базиса некоторого линейного пространства? А вектор весов получается линейной комбинацией этого базиса?
Имеются в виду вектора - входные точки.
Откуда появилась 1/2 в Лангранжиане и куда пропал корень?
||w|| --> min √⟨w, w⟩ --> min (как?) 1/2(⟨w, w⟩)-->min
хороший вопрос
@@RuslanSenatorov Полагаю, что дело в том, что минимизация ||w|| и минимизация ||w||^2 дает один и тот же результат, так как при минимальном значении одного, второе будет иметь так же минимальное значение. Однако ||w||^2 гладкий, в отличие от ||w||.