Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses
Вставка
- Опубліковано 19 чер 2024
- Симулятор A/B-тестов: bit.ly/40uPpjt
У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно:
● как работают системы сплитования;
● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть;
● особенности A/B-тестов в социальных сетях;
● где научиться мастерски проводить A/B-тестирование.
А/Б-тесты, подборка от Никиты:
1. Бомбическая книжка: experimentguide.com
2. Кладезь информации про А/Б в индустрии: exp-platform.com
3. Practitioner’s Guide to Statistical Tests: / practitioners-guide-to...
4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/
5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: research. publications/...
7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
Учитесь Data Science с нами: karpov.courses/
00:00 Что такое A/B-тесты
03:02 Системы сплитования
12:55 Экосистема A/B-тестов ВКонтакте
16:50 Тонкости тестирования на проде
18:55 Проверка гипотез на Big Data
23:25 Bootstrap
27:34 A/B-тесты без A/B-тестов
30:10 Ухудшающие A/B-тесты
31:55 Можно ли принимать решения без A/B-тестов ?
33:38 Кто те люди, которые занимаются A/B-тестами?
34:55 Материалы и знания, которых нигде нет!
Кто из курса основы статистики? 👋
Мне кажется больше половины. У меня с Толиных курсов начался карьерный трек в анализ данных
Я
Какие же вы офигенные и ПОНЯТНЫЕ! Обожаю)
Огонь интервью - очень интересно и структурированно рассказали! Всё чётко, без воды, и с примерами.
Анатолий, Никита, спасибо, очень круто! И книжку почитаю, тоже начинаю тонуть в статьях)
Спасибо за интересное видео и ценнейшие ссылки! Буду изучать)
Толя, если этот канал не взлетит, я разочаруюсь в аналитиках 😁
Сейчас все будет!)
Ребята, классно рассказываете! Спасибо! Очень четко и структурировано !
очень крутое интервью, получила ответы на все свои вопросы относительно того "а как в индустрии" ) спасибо 🙏
так живо и интересно. Спасибо за выпуск!
Интересный материал, спасибо за видео!
Бесподобное интервью! 37 минут бесконечно полезной информации. Подача на высоте - простыми словами о сложном. Спасибо!
Спасибо, мега полезно. За линки отдельный респект, ребята.
Спасибо, было очень интересно послушать.
Спасибо огромное! Очень интересное интервью!
Спасибо за видео!
Полезно, интересно. Большое спасибо)
Отличное интервью🍄🍒
Очень крутой контент. Спасибо ребята. Было бы ещё интересно послушать как происходит взаимодействие с разработчиками во время A/B тестирования. Понимаю, что канал больше с аналитическим уклоном, но ведь в организации и проведении исследовательской работы участвует много людей и это накладывает дополнительные сложности.
Спасибо, было интересно!
Проклятый мир который мы сами и создали - специалист по DS изучает что лучше: сердечко или палец вверх.
Очень тонкий момент про подглядывание. Про него точно стоит почитать/поговорить отдельно
Не знал про пуасонновский бутстрап, клевый трюк, спасибо вам :)
На нашем канале и не такое узнаете! Привет Артем! :)
хитрый ход по продвижению ролика) размещение ссылки на него на степике)) лайк!
Ну а почему нет? Инфа то полезная и из первых рук по сути
сравнение линеечкой - это про Эвклидово расстояние и DTW (в случае временных рядов)?
профессионал поясняет за вещи, кайф
бомба
Зрители дайте книгу на скачивание или на покупку. Зрители пожалуйста 😫🙏🙏💓
о по вэб-аналитике есть видосы? Или, может быть, будут?..
Будут! Следите за анонсами!
Не совсем понятно, как бутстрэп поменять на глобальном CR. Если мы сравниваем всего две группы пользователей, то будет два соотношения клики к просмотрам в одной и клики к просмотрам в другой. Что там бутстрэпить?
Что мешает проводить тесты независимых гипотез только на двух группах, когда пользователей мало? В перекрытии все равно будет часть таких пользователей. Ну или группы можно случайным образом набирать из одних и тех же людей.
Подскажите пжл: у меня контроль и тест(менеджер - продажи, по 57 менеджеров в каждой выборке), распределенные ненормальное. Правильно ли я понимаю, что у меня 2 пути проверки стат. значимости:
1) Смотреть абсолютные значения продаж и тогда использовать Манна-Уитни
2) Смотреть среднее значение продаж по каждой из групп и тогда можно использовать Т-критерий?
Вопрос возникает по второму пути: Т-критерий требует подсчета среднего квадратичного отклонения. Однако, распределение ненормальное. Значит и считать среднее квадратичное отклонение будет не уместно?
Даже если распр ненорм, то применить т-тест можно, просто могут возникнуть нежелательные спецэффекты, но считать при этом нужно все по той же оригинальной формуле без изменений.
В вашем случае можно сделать:
1) Понять насколько сильно распределение отклоняется от нормального, если отклонение несильное, то можно спокойно применять т-тест
2) Трансформировать распределение, то есть привести к нормальному и затем применить т-тест
+ как вариант еще можно использовать бутстрап
@@TheJosebaxter спасибо за ответ!
У меня что-то ближе к Пуссоновскому распределению, если на глаз смотреть.
Проверял критерий нормальности для выборки - распределение ненормально:(
Бутстреп хочу попробовать как раз в ближайшее время.
@@andreykozik253 и что вы в итоге сделали?)
@@bokshalex сейчас уже не особо помню, но вроде бы бутстрепом
Можно ссылку на статью о методах в А/Б тестах?
Большое спасибо за ролик! Подскажите, пожалуйста, когда будут ссылки на упомянутые в ролике материалы? Заранее благодарю.
@@mikhailgerasimov2199
АБ тесты подборка от Никиты Маршалкина
1. Бомбическая книжка: experimentguide.com
2. Кладезь информации про А/Б в индустрии: exp-platform.com
3. Practitioner’s Guide to Statistical Tests: medium.com/@vktech/practition...
4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/
5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: research.fb.com/publications/...
7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
@@karpovcourses ссылка по номеру (3) умерла. Есть ли возможность её оживить?
@@vasiliidovedov3675 вы о Practitioner’s Guide to Statistical Tests?
Проверил, открывается
@@karpovcourses Подскажите пож-та, помимо 1-й книги, Анатолий упомянул, что от этих ребят имеется плейлист с видео, можете поделиться?
Ничего не понятно, но очень интересно)
А Если серьезно, то очень круто! Огромное спасибо! Гость шикарен, про Анатолия вообще даже говорить не буду, все супер) Мне как новичку, было достаточно понятно, кроме понятия Bootstrap и еще одной аббревиатуры, которая "глобальный чет там") но как бы никто мне мешает загуглить) подписался и буду смотреть другие видосы.
глобальный CTR!
@@karpovcourses он самый)
Что значит для t-теста не нужна нормальность данных, а нужна нормальность среднего ? У нас в предпосылках должно выполняться именно нормальность распределения данных. Нормальность среднего - это если мы генерируем много выборок новых и смотрим на то, как оно распределено. Можно пояснить этот момент, пожалуйста
27:38
Сначала все было понятно, а потом "бутстреп на спарке", и я такая "чтооо" (п.с. я с курса статистики)
Всего 7 мес обучения на курсах и понял, в принципе, всё, о чём они говорят))
Как-то много о процессе и очень мало о сути. Видимо поэтому Никита уже не работает в VK :)
1. Не сказано о необходимости измерять прокси метрики - как изменения, внедренные по итогам A/B тестов могут негативно повлиять на метрики других фич.
2. Не сказано о необходимости рассчитывать размер сэмпла и продолжительность теста.
3. Не сказано о необходимости оценки вероятности того, что полученные статистические данные валидны (P-Value, A/A тест и т.п.)
Посоветуете что-то конкретное и понятное?
А почему не применяются байесовские тесты на практике?
На самом деле применяются. towardsdatascience.com/bayesian-a-b-testing-and-its-benefits-a7bbe5cb5103
Я одно только не пойму, кто все эти люди, которые добавляют друзей ВК))Я уже много лет никого не добавляю, я думала большинство так))
.
бесит только "то, что", никак не могут привыкнуть, ЧТО молодежь теперь так говорит(((
Что говорит?)
@@karpovcourses , "подумал ТО, что", "увидел ТО, что", "узнал ТО, что" вместо
"подумал, что"; "увидел, что"; "узнал, что".. Непонятно, когда это началось и почему.. невозможно от этого абстрагироваться, смотришь же и вникаешь в смысл, а вот это все время сбивает))) Понятно. что что это мой бзик, но вот так))
@@01sver4OK понятно!