АБ-тесты по посетителям сайта

Задача:
Узнать как модуль Персонализации сайта влияет на средний чек клиентов и конверсию в заказ.

Как создать АБ-тест

АБ-тесты находятся на вкладке Кампании → АБ-тесты.
Общую информацию по разделу можно прочитать в статье.

Для настройки АБ-теста нажмите на «Создать тест» и выберите «На посетителях сайта».

Как настроить АБ-тест

Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

Участники — сайт, посетители которого станут участниками теста. Чем меньше трафик на сайте, тем больше будет длиться тест.

Трафик — распределение посетителей сайта для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение. В этом блоке можно задать, какие кампании какому варианту должны показываться. Другим вариантам теста они показываться не будут. Подробнее в блоке Трафик.

Аналитика — выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

• Основной целевой показатель — показатель, по которому считается статистическая значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности.
  Как только набираются нужные показатели, персоналу, который запускал этот АБ-тест, отправляется письмо.

• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

Трафик

Глобальный АБ-тест персонализации сайта

1. Оставьте один вариант и задайте в нем «Формы для показа — Все». Пользователи будут видеть все запущенные формы.
2. Нажмите «Добавить контрольную группу». Контрольной группе не будут показываться никакие кампании, кроме тех, в которых явно задано, что ее необходимо показывать всем.

Перед запуском теста проверьте, что на проекте есть запущенные кампании персонализации сайта.

АБ-тест формы или набора форм с контрольной группой

1. Оставьте один вариант и укажите в нем все попапы из welcome-цепочки.
2. Нажмите «Добавить контрольную группу». Контрольной группе не будет показываться welcome-цепочка, которая выбрана в другом варианте. При этом все остальные запущенные на сайте механики эти клиенты увидят.

АБ-тест форм между собой

Например, узнать, какой набор виджетов в карточке товара больше влияет на средний чек покупателей на сайте: популярные товары в категории и сопутсвующие товары или популярные товары и персональные рекомендации.

1. В первом варианте укажите формы из первого набора.
2. Во втором варианте укажите формы из второго набора.
3. Нажмите «Добавить контрольную группу». Посетители сайта из контрольной группы не будут видеть виджеты в карточке товара, которые указаны в остальных вариантах. При этом все остальные запущенные на сайте механики эти клиенты увидят.

Как показывать кампанию всем посетителям сайта, даже если они в контрольной группе

В каждой форме есть настройка, которая позволяет исключить ее из глобального АБ-теста сайта. Она может быть полезна, если есть формы, которые должны показываться всем посетителям сайта, даже если они попали в контрольную группу. Например, попап о том, что на сайте ведутся технические работы.

Отчет АБ-теста

Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.