Ваагн Минасян | Ускорение A/Б тестов линейными методами: сравнительный анализ
Вставка
- Опубліковано 27 вер 2024
- Ваагн Минасян, Lead Data Scientist at X5 Group
Ускорение A/Б тестов линейными методами: сравнительный анализ.
Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных. В других же методах недоиспользуются возможности повышения чувствительности. Дабы предостеречь аналитика от неверных шагов, в данном видео мы разбираем эти случаи и проведём сравнительный анализ линейных методов повышения чувствительности, подкрепляя выводы симуляциями.
Материалы к докладу: drive.google.c...
Автор исследования подходов в А/Б тестировании:
papers.ssrn.co...
github.com/MiV...
QNA сессию вы можете посмотреть в комментариях к посту:
t.me/mlinmarke...
ML in Marketing hub: ods.ai/hubs/ml...
Канал Ml in Marketing: t.me/mlinmarke...
Соцсети Open Data Science:
t.me/datafest
t.me/ods_ru
datafest
Регистрация на мероприятия соощества: ods.ai/events
Хабы сообщества: ods.ai/hubs - Наука та технологія
Спасибо, очень познавательно
спасибо!
да, инфа стоящая! Ловите лайк от СЕООНЛИ
С бустом что-то очень странное, по сравнению с рф особенно. Похоже на явный оверфит, которого можно было избежать
За доклад спасибо, полезно)
Спасибо. Интересно. Скажите, пожалуйста, учитывается ли временной фактор? Например. Мы делаем модель на исторических данных, зимой. АВ тестируем весной и доводим модель до прибыли в летний период. А в продакшн запускаем в осенне-зимний период, когда совершенно другие настроения у покупателя (вышли из отпусков, школа, новогодние праздники). Если же брать данные с прошлого года, то там была другая политическая и экономическая ситуация (та-же процентная ставка была ниже, выборы)
Временной фактор можно учитывать по-разному.
Если говорить о повышении чувствительности (ускорении АБ теста), то нужно выбирать те ковариаты, которые, на ваш взгляд, будут скоррелированы с бизнес метрикой. Например, если у вас A/B тест проводился в феврале этого года, и вы хотите померить эффект от АБ теста на какую-то бизнес-метрику, то в качестве вариативных во времени ковариат логично брать бизнес-метрику за ближайшие предыдущие месяцы (например: за январь этого и декабрь,ноябрь предыдущего года ) , так как корреляция с ними будет больше, чем с "хмурыми" месяцами . Так же логично попробовать учесть сезонность - добавив ковариату в виде бизнес-метрики в феврале год назад или два года назад и т.д. Если вы выбирите ковариаты, которые не скоррелированы с бизнес-метрикой или сильно скоррелированы между собой, то вы в худшем случае завысите вашу дисперсию оценки 'эффекта, как следствие, это понизит чувствительность , но оценки на больших выборках по-прежнему будут несмещёнными и состоятельными (опять таки, при случайном разбиении на ЦГ и КГ).
Если говорить об эффекте, который вариативен во времени - например, он проявляется только в выходные или праздники - то АБ тесты (и присущие им методы повышения чувствительности) будут мерить средний эффект воздействия, своего рода "среднюю температуру по больнице" за какой-то период. Например, если с понедельника по субботу эффект равен 0 , а в воскресенье равен 14, то средний эффект за неделю будет равен 14/7=2 . Аналогичный пример можно привести с месяцами и другими временными диапазонами.