Игорь Яшков, Яндекс.Поиск - Как валидировать и развивать метрики

Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: matemarketing.ru/
Программа: clck.ru/y6jEV
Купить билет: matemarketing.ru/
Лекция заставляет задуматься об области применимости метрик, которые используют слушатели. Представлены кейсы про неверный выбор или интерпретацию метрик.
Если долго использовать одну и ту же North Star метрику, то происходит оверфит и метрика перестаёт работать. Выбирая ключевую метрику для эксперимента, нужно хорошо понимать область её применимости, чувствительность, уровень в иерархии метрик
Слушатели научатся использовать инструмент валидации метрик: проведение ухудшающих А/Б-тестов, проводить проверку согласованности с более высокоуровневыми метриками, а также научатся измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
Узнают как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также научатся измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости

[@user-if1dj7fy2y]

Весело было 😅
А когда будет продолжение этой темы разговора 😊

[@AlyonaTreska]

Полезно и доходчиво - моё уважение докладчику)

[@Kasenkow]

Жалко, что всего полчаса. Очень много вопросов осталось

[@Matemarketing]

Так напишите в телеграм @a_nikushin и мы добавим вас в чат аналитиков, где вы сможете задать Игорю все вопросы