Привет! Меня зовут Алекс и я хотел бы поделиться своим опытом проведения А/Б-тестирования для трех источников трафика. У нас есть задача повысить конверсию, которая на данный момент составляет 5%, и мы ожидаем прирост в 0,2%. Уровень доверия для нашего теста составляет 97%, а уровень мощности — 87%. Ежемесячное количество пользователей на нашем продукте составляет 40 000.3.1) Для начала, давайте определим, за сколько дней мы сможем протестировать нашу гипотезу. Для этого нам потребуется найти минимальный необходимый размер выборки. Можно воспользоваться онлайн-калькуляторами для определения размера выборки, учитывая требуемые уровни доверия и мощности, а также ожидаемый прирост конверсии.
После проведения вычислений, например, с использованием сервиса Optimizely Sample Size Calculator, мы можем узнать необходимый размер выборки для каждого источника трафика. На основании полученных данных мы можем оценить, сколько пользователей из общего числа 40 000 должны участвовать в тесте для достижения требуемых уровней доверия и мощности.
Допустим, результаты подсчёта показали, что нам нужно минимум 1000 пользователей для каждого источника трафика. Это означает, что наш тест продлится, пока каждый источник трафика не достигнет этого количества участников. С учетом того, что на наш продукт заходит 40 000 пользователей в месяц, мы можем ожидать, что тестирование для каждого источника трафика займет приблизительно 10 дней (1000 пользователей / 100 пользователей в день 10 дней).Однако, после получения результатов тестирования, самые важные вопросы будут⁚ является ли изменение статистически значимым и имеет ли практическую ценность. Помните, что уровень доверия в 97% означает, что в 3% случаев можно получить ложноположительные результаты. Поэтому рекомендую уделить внимание не только показателю статистической значимости, но и оценке практической значимости улучшений.3.2) Если у нас нет проблемы с количеством посетителей на сайт, то результаты тестирования для каждого источника трафика будут следующими⁚
1) При конверсии в 25 000 пользователей٫ мы можем ожидать улучшение конверсии на 0٫2%٫ что приведет к ежемесячному приросту в 50 пользователей (25 000 * 0٫2% 50).
2) Если у нас 30 000 пользователей и улучшение конверсии на 0,2%, это приведет к ежемесячному приросту в 60 пользователей (30 000 * 0,2% 60).
3) При количестве конверсий в 32 000 пользователей и улучшении конверсии на 0,2%, мы можем ожидать прироста в 64 пользователя (32 000 * 0,2% 64).
Итак, в результате проведения А/Б-тестирования мы можем определить эффективность изменений для каждого источника трафика. Важно помнить, что результаты тестирования должны быть статистически значимыми и иметь практическую ценность для правильной оценки эффекта изменений.