Рекомендации по запуску АБ-тестов

В данной статье рассказываем, как наиболее эффективно проводить АБ-тестирование.

Как получить статистически значимый результат быстрее?

Чем быстрее наберется нужное количество клиентов, тем быстрее завершится тестирование. Есть три метода для ускорения процесса.

• Больше трафик

Например, на главной странице сайта, где посетителей значительно больше, чем на других, участники будут набраны быстрее.

• Меньше вариантов

Каждый новый вариант увеличивает необходимое число участников теста. Это можно проверить с помощью калькулятора АБ-тестов. Меньше вариантов — быстрее набор участников и, соответственно, результаты теста.

• Равномерное распределение

Чтобы провести тест в соотношении, например, 80/20, нужно дождаться, пока в варианте с меньшей вероятностью попадания наберется достаточное количество участников.
Поэтому равномерное распределение (50/50, 33/33/34, 25/25/25/25) скорее наполнит все варианты.

Можно ли запустить несколько АБ-тестов параллельно?

• Да, можно. Но важно учитывать, что несколько АБ-тестов, параллельно запущенных на одну аудиторию, будут влиять друг на друга. Они не создадут ложных победителей там, где их нет, но могут сильно увеличить время, нужное каждому из тестов. Также это может привести к ложно несостоявшимся тестам (победитель на самом деле есть, но мы не смогли обнаружить) из-за конфликта цепочек взаимодействия с клиентом.
• Несколько тестов, направленных на одну аудиторию со схожими гипотезами могут искажать результаты, даже если каналы разные. Например, при тесте рассылки со скидкой на товар и тесте попапа со скидкой на этот товар результаты обоих тестов будет сложнее интерпретировать.
• Запущенный тест для всех механик сайта должен быть всегда один. В таком случае контрольная группа пользователей не увидит ни одной формы. Контрольные группы формируются случайным образом из всех посетителей сайта, поэтому они могут пересекаться при запуске нескольких таких тестов одновременно. Эти пользователи не увидят никаких форм и виджетов на сайте, что замедлит получение результатов для всех тестов.

Нужно ли делать паузу между АБ-тестами?

Да, если АБ-тесты запускаются на одну и ту же аудиторию, то ей нужно давать «остыть». Выгоревшая от многих (или даже параллельных) тестов подряд может давать искаженные результаты и не показывать разницу между вариантами, где она могла бы быть.