Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше: Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста? Про инструменты, полагаю нужно отдельное видео ))
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так.... Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним bytepawn.com/ab-testing-and-the-ttest.html
Привет, Андрей! Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам: 1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям. 2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж) Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ! Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал)) Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
Уместить столько инфы в 10 минут, круто
Спасибо! Рад, что полезно!
Классная подача - четко, по делу и с таким позитивом. Спасибо!😊
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Очень полезно, информативно, без воды!
Рад, что видео полезно!
Вот бы мастер-класс по всему процессу)) спасибо.
Огромное спасибо зи информацию, понял что допускал ряд ошибок в своей работе, тема АБ тестов заиграла новыми красками))
Спасибо за полезное видео!
А вот и новые знания подкатили :)
Пошел за яблочками к видео ^_^
Спасибо, Андрей!
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше:
Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста?
Про инструменты, полагаю нужно отдельное видео ))
Крутое, доступное и краткое обьяснение
Спасибо!
Видишь Андрея - лайк не глядя
Спасибо за такой крутой контен🤘
Подписался. Офигенно.
И напишу еще 2 слова, чтобы алгоритмы ютуба засчитали этот комментарий.
Большое спасибо за интересный и содержательный выпуск.👍👍👍
Супер полезно и коротко о главном :) Спасибо!
Красавчик! Подписка
Красава, быстро и понятно
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так....
Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Очень полезно!
Как насчёт А/А теста ?
И интересны методы по ускорению А/В тестов
Понятно что в 10 минутный формат не укладывается но все же.
Сниму про ускорение обязательно!
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Все зависит от размера выборки. Нужно проводить пока не наберется достаточная выборка для определения стат значимости
зависит от сезонности бизнеса. зачастую меньше недели смысла проводить нет, т.к. поведение пользователей в разные дни недели может отличаться
топ!!! автор выбрал язык фактов
А что посоветуете почитать по этой теме, чтобы легко проходить собеседования
спасибо! надо бы про АА тест сказать и его необходимость перед АВ
Сколько месяцев учиться языкам программирования, нужным для проведения в б теста в профессии аналитика?
Как стать респондент а/в тестов? как проходить тесты и зарабатывать ?
Спасибо большое за видео! А как чаще всего проверяется статистическая значимость: T-тест, Z-тест, U-тест?
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним
bytepawn.com/ab-testing-and-the-ttest.html
Привет, Андрей!
Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам:
1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям.
2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж)
Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ!
Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал))
Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Спасибо! Удачи с обучением!
Подскажите, на каких платформах делать АБ для web и app тестов?
И что в итоге a/b тесты?
Спасибо за видео, а почему не проводят A/A/B тесты? Везде слышу, что так не делают, но почему так не делают, никто не говорит)
А зачем A/A/B тесты?) Почему не A/A/A/B?)
Андрей, а почему кольцо на левой руке?😉
он что-то понял.
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
@@Noukash а, тогда недопонял изначально.
Кто-нибудь может разъяснить, что подразумевается в самом конце 4 пункта под небольшой базой в 1000?
Я имел в виду, что разница в конверсии может быть большой но на маленькой выборке она не статистически значима
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
А что такое то A/B тестирование? И для чего оно нужно? С первых секунд уже ничего не понятно
А б тестирование простыми словами. Так че это вообще, в видео не говорится
Ваще ниче не поняла хдддд
шо за продукты аналитишь
Не хватило самых простых определений: p-value, etc.