Иван Максимов | 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

ML in Marketing hub: ods.ai/hubs/ml-in-marketing
Телеграм-канал t.me/mlinmarketing
Спикер: Иван Максимов, Data Science Team Lead at Delivery Club
Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.
Что было в докладе:
00:00 начало видео
01:18 сразу о результатах
02:07 содержание доклада
03:03 как выбирать АБ параметры
07:47 расчет количества групп
11:09 расчет количества метрик
16:18 трансформация метрик
18:58 линеаризация ratio метрик
23:39 как снизить дисперсию метрик
28:02 пост-стратификация, Cuped, cupac
31:20 !ссылка на статьи
32:44 параллельные тесты
35:07 механика бакетов
40:24 стандарт дизайна АБ теста
44:35 календарь АБ
45:29 авто расчет АБ
46:12 культура принятия решений после АБ
47:36 результаты
48:47 с чего начать внедрение АБ в компании
t.me/mlinmarketing
Посмотреть QNA сессию можно по этой ссылке t.me/c/1190393733/244
Ссылка на презентацию: drive.google.com/file/d/1VPNg...
Соцсети Data Fest:
t.me/datafest
datafest

[@BoQbL1k]

2 года смотрю разные видео по АБ, но в этом секретном видео нашел очень много полезной инфы, спасибо!

[@user-fx3rx7ih4l]

Спасибо, очень интересно подан материал!

[@LVGavr]

Спасибо, очень структурированно 👍

[@salivona]

спасибо, про а/б очень актуально!

[@mlpython1089]

Полезный материал. Отличная подача. Лучше чем у ВБ. Спасибо.