Метрики машинного обучения
Вставка
- Опубліковано 4 жов 2024
- Занятие ведёт Юрий Яровиков.
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschoo...
Github-репозиторий: github.com/DLS...
Поддержать канал можно на Boosty: boosty.to/deep...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...
Другие записи курсов от Лектория ФИВТ вы можете найти на канале / @stfpmi
![[UA] NAVI проти G2 Esports | Blast Premier Fall Final](http://i.ytimg.com/vi/QWlIm4FGESQ/mqdefault.jpg)
Некоторые метрики:
Accuracy (Точность) - это метрика, которая измеряет, насколько точно модель предсказывает правильный ответ. Она рассчитывается как количество правильных ответов, полученных от модели, деленное на общее количество предсказаний.
Precision (Точность) - это метрика, которая показывает, насколько точно модель идентифицирует положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество предсказанных положительных ответов.
Recall (Полнота) - это метрика, которая показывает, насколько хорошо модель находит все положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество истинных положительных ответов.
F1 score - это метрика, которая объединяет точность и полноту, показывая, как хорошо модель предсказывает положительные примеры. Она рассчитывается как гармоническое среднее между точностью и полнотой.
Mean Squared Error (MSE) - это метрика, которая измеряет среднеквадратичную ошибку модели. Она рассчитывается как сумма квадратов разности между фактическим и предсказанным значением, деленной на общее количество примеров.
Mean Absolute Error (MAE) - это метрика, которая измеряет среднюю абсолютную ошибку модели. Она рассчитывается как сумма абсолютных разностей между фактическим и предсказанным значением, деленной на общее количество примеров.
R2 score - это метрика, которая измеряет долю дисперсии в целевой переменной, которую модель может объяснить. Она рассчитывается как коэффициент детерминации между фактическим и предсказанным значением.
AUC-ROC - это метрика, которая измеряет площадь под кривой ROC (Receiver Operating Characteristic), которая показывает, насколько хорошо модель различает между классами. Чем ближе AUC-ROC к 1, тем лучше модель различает между классами.
Log Loss - это метрика, которая измеряет ошибку логарифма вероятности, которую модель предсказывает для каждого класса. Она широко используется в задачах классификации, особенно в задачах с несбалансированными классами.
Mean Average Precision (MAP) - это метрика, которая измеряет среднюю точность модели в ранжировании результатов по релевантности. Она широко используется в задачах информационного поиска, например, в поисковых системах.
Cohen's Kappa - это метрика, которая измеряет степень согласованности между двумя аннотаторами или между аннотатором и моделью. Она часто используется в задачах обработки естественного языка для оценки качества аннотации.
IoU (Intersection over Union) - это метрика, которая используется в задачах сегментации изображений и оценивает насколько хорошо модель выделяет объекты на изображении. Она рассчитывается как отношение пересечения и объединения между предсказанной и фактической маской.
BLEU (Bilingual Evaluation Understudy) - это метрика, которая измеряет качество машинного перевода, сравнивая перевод модели с несколькими референсными переводами. Она широко используется в задачах машинного перевода.
R-squared - это метрика, которая используется в задачах регрессии для оценки того, насколько хорошо модель соответствует реальным данным. Она измеряет долю вариации в целевой переменной, которая объясняется моделью.
Precision-Recall Curve - это кривая, которая показывает зависимость между точностью и полнотой модели в задачах бинарной классификации. Она помогает выбрать наилучший порог для классификации, которая максимизирует F1-score.
Top-k Accuracy - это метрика, которая измеряет долю правильных ответов модели, когда рассматриваются только k наиболее вероятных классов. Она используется в задачах с большим количеством классов, чтобы измерить качество модели, когда невозможно рассмотреть все классы.
Качество подачи приятное и очень доступное, описано на простом языке. Благодарен)
Очень классная серия лекций на канале!
Добавьте, пожалуйста, больше деталей в объяснения. Например, чем МАЕ отличается от MSE и когда какую метрику использовать. Там ещё вагон и маленькую тележку можно рассказать. Ни в коем случае не критикую, просто взгляд со стороны учащегося
Спасибо за отзыв!
Превосходно Юрий! Моя модель ASR тебе благодарна))) Четкое произношение, отличный микрофон))) Молодец!)))
Хорошая диаграмма, всё сразу стало понятно
Очень Крутая лекция!!
Отличная лекция, но т.к. я тугодум - поставил скорость на 0,5. Ощущение будто Ельцин меня обучает)
Прекрасно
спасибо! классный формат
i guess I am pretty off topic but do anybody know of a good place to stream newly released movies online ?
@Brian Julio I use FlixZone. You can find it on google :)
Аккуратность близка к accuracy семантических.
На наш взгляд, лишь этимологически
В колонке "вероятность" полученная вероятность из модели. А в колонке истинный класс вероятность, которая на самом деле существует? То есть y_train и y_test?
Или в третьей колонке 1 - мы угадали, 0 - мы не угадали ответ?
В третьей колонке правильный ответ, то есть у. Во второй колонке предсказанная вероятность того, что y равен 1
false positive - это по-русски ложно положительное. Соответственно false negative - ложноотрицательные.
Точность чем не подходит?
Здравствуйте, названия метрик accuracy и precision переводятся на русский как точность, поэтому мы используем английские слова, чтобы их различать. Использование транслита в этом случае оправдано, но не стоит называть accuracy аккуратностью.
Accuracy