Как проводить А/Б тестирование, подробный и реальный пример
Вставка
- Опубліковано 14 жов 2024
- АБ тесты очень сложная тема, но я постараюсь максимально просто ее раскрыть и дам рабочий лайфхак как не разбираясь в статистике ты можешь использовать ее по максимуму в АБ тестах.
И сегодня мы будем разбираться что лучше - оригинальный Гарри Поттер (показать превью) или Гарри поттер by Balenciaga (показать превью) и в этом нам поможет АБ тестирование.
Давай предположим, что мы сделали фильм по Гарри Поттеру, продажи идут хорошо, но вот мы решили, что можно лучше и мы придумали другой фильм, он чем то похож на старый но в нем много деталей.
И вот мы положили оба фильма на полку и начинаем сравнивать, какой же все таки Гарри лучше в балансеяге или обычный Гаря поттер. В итоге мы получили такие значения. Предположим что мимо обычного Гари Поттера прошло и посмотрело 20932 человека за неделю из них 251 совершило покупку(1,19%). Их CR% ты видишь на экране.
Мимо Гарри Поттера бай баленсиага прошло столько же человек но покупок они совершили чуть больше 254(1,2%), ну что значит победа Гарри Поттера бай баленсиага? А нет хрена лысого, ты пришел с этими результатами к руководству, а оно говорит “Нужно больше золота”, ладно шучу, оно говорит - “Твои данные ошибочны, так как это случайное совпадение что вариант с балансеягой купило больше человек”, и ты меня спросишь и что с этим делать?
Материалы из видео:
Мне было лень это все считать, поэтому я забил эти цифры в онлайн калькулятор - allcalc.ru/nod... (Дисперсия)
Она дает найти плотность вероятности или p-value. getcalc.com/st... (Таблица Z score)
Cтатья habr.com/ru/po... и книга - "Статистика для всех" Сары Бослаф
Полезные ссылки:
shcherbachenko...
Курс по продуктовой аналитике shcherbachenko...
Приходите в наш TG канал, там мы обсуждаем новости аналитики и IT - t.me/shch_blog
Привет! Канал только начинает свой путь, поэтому твоя подписка очень важна для меня! Поддержи лайком и подпиской или никакой магии вне хогвартса! 😀
Какой ты красивый! Пришлось посмотреть два раза, тк залипла по началу 😂
отличный пример и объяснение
вроде что-то понял, это уже хорошо. Кстати спасибо за книгу, с котиками реально понятней.
неверное определение p-value: это вероятность получить такие или более выраженные различия при условии, что нулевая гипотеза верна.
Нулевая гипотеза -статистически значемых раззичий в выборках нет
Ваше определение верное, но в видео я старался объяснить более простым языком, что такое P value и я не называл четкого определения, так как бы его никто не понял, в видео я также совершил ошибку и сказал что p value меньше нуля целых пяти десятых, хотя на видео я показываю сотые. И в видео я сказал почти тоже самое что написали вы только другими словами
В экселе же есть функция нормального распределения, как и в numpy (и плотность и вероятность). Да и у нас выборка не особо большая, почему не использовать Стьюдента? Он тоже есть в экселе, но на питоне уже scipy нужен для плотности и вероятности. А нормальное распределение использовать, когда у нас большая выборка, ну на 50, 100, 1000 и тд значений?
Благодарю тебя!
Лучший!!! Thx
А почему используется Z критерий для равенства средних, а не для равенства долей?
Очень интересно 🤔
по формуле расчета Z была сигма в квадрате, а в решении была взята просто сигма 0,03 и 0,04 - это ошибка или я не правильно понял?
Сигму возводят в квадрат чтобы убрать корень и да похоже я ошибся так как я использовал высчитанную сигму, спасибо за комментарий)
Отлично объясняете, но ... Было бы еще понятнее если на игрушечных примерах все рассчитывать вручную, а не на калькуляторе.
Спасибо, но больше расчётов было бы хорошо
Спасибо за видео, а то все только воду льют, а у тебя прямо по шагам, по формулам.
8:20
Наоборот. Мы уверенны на 95% что мы получили такие данные случайно
мы проверяем верность нулевой гипотезы
@@dgrey. проверяйте
Прикольно, а если бы человек несколько раз покупал эту книжку, мы бы тоже просто общую среднюю считали ? А то есть же ещё средние от средних юзеров
Можно считать медиану, но вообще все для того чтобы высчитать стандартное отклонение. Правильнее это будет мат. ожидание, по факту тоже среднее, но взвешенное по вероятностям возможных значений. Я у себя на проекте считаю конкретно по уникальным пользователям, также берем CR% по дням и дальше уже считаем стандартное отклонение
У каждой покупки есть свой уникальный ID или артикул, так что ответ нет) Но даже так думаю вряд ли бы кто-то брал два раза одно и тоже
@@andrey_shch спасибо! А приходилось считать статистику у метрик отношения типа ARPU? Что-то слышал что с ними не все так просто, даже в инете нет калькуляторов для mde этих метрик, только одни конверсии )
@@BoQbL1k В интернете как раз считают через chi квадрат, который не может считать ARPU или что-то кроме CR%, а как раз в моем методе можно использовать любую метрику
👍🏽👍🏽👍🏽