A/B ТЕСТИРОВАНИЕ: Почему никто не делает его правильно?
Вставка
- Опубліковано 27 чер 2024
- A/B Тестирование - что это? Все хотя бы отдалено про него слышали. Это один из основных инструментов маркетолога или продуктового аналитика. Любой digital проект, веб сервис, it продукт рано или поздно сталкивается с АB тестами. Обычно разбираться с ними задача продуктового аналитика или веб аналитика, ну или на крайний случай - маркетолога. Но знать о них должны все, кто работает в IT сфере.
Казалось бы, все просто: есть 2 варианта и из них выбираешь лучший. Но, в любом аб тесте куча подводных камней и проблем. Почему это так сложно? Как сделать ab тестирование правильно? Каким должен быть АБ тест чтобы на его результаты можно было полагаться?
В коротком видео, я рассказываю базово:
-Что такое A/B тестирование и зачем оно нужно?
-Что такое статистическая значимость на простом примере и почему выборка так важна.
-Какие бывают проблемы с А/Б тестами там, где мы их не ждем.
Любому в области IT/Digital - обязательно к просмотру!
------------------------------------------------------------
00:00 - Важность A/B тестирования
00:26 - Зачем оно нужно?
02:16 - Что такое АБ. С примерами.
05:06 - Статистическая значимость. Что это такое? Как считается?
08:21 - Достаточная выборка. Какая она? Зачем нужна?
09:45 - Пример частой ошибки в AB тесте.
11:18 - Можно-ли быть уверенным в АБ тесте?
11:58 - Я/МЫ - A/B тестирование
------------------------------------------------------------
Меня зовут Андрей - я работаю продуктовым аналитиком в IT стартапе и на этом канале (Andrey Novikov) я рассказываю про IT, стартапы и карьеру. Будут разборы профессий, советы, истории. Подписывайтесь и оставляйте комментарии. Я всегда на них отвечаю.
Instagram: / noukash
Под этим комментарием можно задавать вопросы, если что-то осталось неясным :)
Все разъясню!
а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?
Поделитесь, пожалуйста, хорошими сайтами-калькуляторами!
Сайт калькулятор в студию плиз:)
@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.
@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!
Я/МЫ - АБ тестирование:))) 10 баллов:)
У тебя очень классная подача и хорошая речь! Спасибо за видео)
Спасибо большое за комментарий! Очень приятно :)
Круто, все доступно объяснил. Пока думаю над предложениями по видео, поэтому просто желаю успехов:)
Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!
Андрей! Хочу сказать спасибо! Ты лучший ❤
Видео - огонь 🔥🔝. И канал классный! Успехов в развитии канала 🚀
Очень информативно, спасибо за видео!
Спасибо вам за комментарии!)
Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д.
Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить
К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно
особенно тарологам🤣🤣🤣
@@faizulla5838 Таргетологам. Про тарологию я вроде ничего не написала, таролог занимается в другой сфере деятельности вообще
И в удовольствие посмотреть, и очень полезно! спасибо
Про голодного китайца просто отлично.. эффект бабочки в действии
Подписка после просмотра второго видео! Подача великолепна, спасибо!
очень интересно, о сложных вещах доступным языком.
Наконец то до меня дошло=) максимально понятно, спасибо)
Спасибо Вам большое 🤍
Спасибо, плнятно объяснено.
спасибо, каеф)
посмотрела и вариант B - тоже хорош!
Теория понятна.
Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.
Добавить бы про множественное тестирование, бонферрони и тд...
Качественное исследование в помощь :)
Видео супер, очень понятно объяснено! А вы в работе проводите A/B тестирование?
Конечно! Постоянно! Это один из основных инструментов развития IT продуктов и сфера ответственности продуктового аналитика.
Конечно же пицца!
Я читал, что это очень активно используется на Booking, что постоянно показывают разным пользователям разные варианты сайта
На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.
Да, так и есть! Это эволюционный процесс может длится бесконечно.
@@traktin4590 Можно бесконечно искать маленькую кнопку на кривом интерфейсе, особенно если ее там нет! :)
Решил поменять профессию выбрал аналитика пр. Посмотрел это видео не х.ера не понял но очень интересно, правильно ли я выбрал профессию )
Я юрист,учусь сейчас на аналитика
Но видео мне понятно
Привет! Поделись ссылками на калькуляторы. Так как формулы очень сложно оседают в голове)
Вот отличный калькулятор выборки и результатов тестов
www.evanmiller.org/ab-testing/
Как математики от Бога почти сломали Уолл стрит... Крутая книга.
вот именно разницы большой нету одновременно тестировать или последовательно
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало
Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости
И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования.
Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.
Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)
Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈
Ха! Это забавно потому что я считаю это своей самой неудачной прической. Спасибо за комментарий и комплимент
французский фильм Пьер Решар,....Рассеянный фильм (1970)
так кто должен делать этот анализ: дизайнер, разработчик или тестировщик?
Аналитик)
А можно ссылку на онлайн-калькулятор получить?
А легко! И расчет выборки (Sample Size Calculator), и расчет результатов теста! (Chi-Squared Test)
www.evanmiller.org/ab-testing/
@@Noukash Почему именно хи-квадрат, а не какой-то другой? я джун, если что.
Хватит махать руками у меня перед лицом😅
Хм, странное распределение, уж больно оно нормально.
Про кнопку покупки все понятно, не понятно как они могли делать одновременно А В тест а не последовательно
Если их никто не умеет составлять то ктто же и х исползуетт...?
Учиться, учиться и ещё раз учиться ;)
Красавчик. Может попробуй подстричься? Возможно это изменит имидж и увеличит отдачу.
Спасибо, я подстригся!
Всё, конечно, хорошо, но как перестать смеяться после слова "ситвация"?))
За два года ни одной штуки про два стула?
1:43 говоришь нельзя, а это по сути когортный анализ. Продактами еще как используется в ит
Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд
слишком эмоциональный.
Абсолютно точно подвластно)
Важен, но некритичен
Слишком эмоционирует. Было бы полезно принять перед записью успокоительное.
А просто рассказать как нужно делать можно - без философии?
Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия
Чувак, подлечи своё мышление, противно читать, зашоренный взгляд.
не понял про голодного китайца который повлияет на то, пойдём мы гулять в парк или нет..
Одна из теорий возникновения короновируса, что он возник в результате того, что человек съел летучую мышь зараженную вирусом.
@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.
@@SilverOrlov Ох как сложно :) Да! все проще
Незнайка это ты 😂
какая хрень.... бла бла .... а тэст как делать???
безумная жестикуляция) ты Дерижёр в душе?)
це якась хуйня - мені це нагадує роботу не тустувальника а БізнесАналітика чи ПроджектМенеджера,,,,,,
Так це і є робота продукт і проджектів. А/Б тестування це вид маркетингового дослідження 😅