Калькулятор A/B тестов

Статистическая значимость показывает, можно ли с уверенностью утверждать, что различия между группами A и B не случайны. При 95% уровне достоверности есть только 5% вероятность, что различия случайны.

Рекомендуется минимум 100-300 конверсий в каждой группе. Чем больше размер выборки, тем точнее результаты. Также важно обеспечить равномерное разделение трафика между группами 50/50.

Минимальная продолжительность - 1-2 недели для учета недельных циклов поведения пользователей. Продолжайте тест до достижения статистической значимости, но не менее недели даже при быстром достижении значимости.

Доверительный интервал показывает диапазон, в котором с заданной вероятностью находится истинная разность между группами. Например, интервал 2%-8% означает, что улучшение составляет от 2% до 8%.

Рекомендуется дождаться заранее запланированного объема выборки или времени проведения теста, чтобы избежать систематических ошибок и получить более достоверные результаты.

Отрицательный результат означает, что тестовая версия показала худшие результаты, чем контрольная. Это тоже ценная информация - она показывает, что изменения не улучшили конверсию.

Да, все расчеты выполняются локально в вашем браузере. Данные не передаются на сервер и не сохраняются, обеспечивая полную конфиденциальность ваших бизнес-метрик.