Я провел АБ-тест на увеличение average timespent per user и получил следующие данные⁚
Вариант A⁚
— Средняя ౼ 360
— Отклонение ౼ 40
— Количество ౼ 9802
Вариант B⁚
— Средняя ౼ 352
— Отклонение ౼ 58
— Количество ౼ 9789
Теперь нужно узнать, является ли различие между этими результатами статистически значимым на уровне доверия 80%. Для этого нужно провести статистический анализ.Сперва необходимо вычислить стандартную ошибку разности между двумя средними значениями. Формула для расчета стандартной ошибки разности выглядит следующим образом⁚
(SE) sqrt((s1^2 / n1) (s2^2 / n2))
Где s1 и s2 ౼ отклонения вариантов A и B, n1 и n2 ౼ количество наблюдений в каждом варианте.Подставляя значения из наших данных, получим⁚
(SE) sqrt((40^2 / 9802) (58^2 / 9789))
(SE) ≈ sqrt(0.001625 0.003649)
(SE) ≈ sqrt(0.005274)
(SE) ≈ 0.0726
Затем нужно вычислить Z-значение ─ стандартизированную разность между двумя средними значениями. Формула для расчета Z-значения выглядит следующим образом⁚
(Z) (X1 ౼ X2) / (SE)
Где X1 и X2 ౼ средние значения вариантов A и B, SE ౼ стандартная ошибка разности.Подставляя значения, получим⁚
(Z) (360 ౼ 352) / 0.0726
(Z) ≈ 7.8125
Далее нужно определить критическое значение Z-критерия для заданного уровня доверия. Для уровня доверия 80%, критическое значение будет около 1.28. Сравнивая полученное Z-значение с критическим, можно сделать вывод о статистической значимости результатов. В нашем случае, полученное Z-значение (7.8125) превышает критическое значение (1.28), что означает, что различие между средними значениями вариантов A и B является статистически значимым на уровне доверия 80%. Таким образом, я рекомендую использовать вариант A, так как он показал более высокое среднее время проведенное пользователем. Таким образом, проведенный АБ-тест позволил нам принять решение о выборе варианта A для выкатки на продакшн.