- 31 Aug 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
АБ-тесты по посетителям сайта
- Обновлено 31 Aug 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
Задача:
Узнать как модуль Персонализации сайта влияет на средний чек клиентов и конверсию в заказ.
Как создать АБ-тест
АБ-тесты находятся на вкладке Кампании → АБ-тесты.
Общую информацию по разделу можно прочитать в статье.
Для настройки АБ-теста нажмите на «Создать тест» и выберите «На посетителях сайта».
Как настроить АБ-тест
Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.
Участники — сайт, посетители которого станут участниками теста. Чем меньше трафик на сайте, тем больше будет длиться тест.
Трафик — распределение посетителей сайта для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение. В этом блоке можно задать, какие кампании какому варианту должны показываться. Другим вариантам теста они показываться не будут. Подробнее в блоке Трафик.
Аналитика — выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».
Основной целевой показатель — показатель, по которому считается статистическая значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности.
Как только набираются нужные показатели, персоналу, который запускал этот АБ-тест, отправляется письмо.Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.
После запуска АБ-теста редактировать можно только его название.
Трафик
Глобальный АБ-тест персонализации сайта
С помощью глобального АБ-теста сайта можно увидеть, как персонализация сайта влияет на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение посетителей сайта с появлением персонализации на сайте и поможет рассчитать окупаемость модуля.
- Оставьте один вариант и задайте в нем «Формы для показа — Все». Пользователи будут видеть все запущенные формы.
- Нажмите «Добавить контрольную группу». Контрольной группе не будут показываться никакие кампании, кроме тех, в которых явно задано, что ее необходимо показывать всем.
Перед запуском теста проверьте, что на проекте есть запущенные кампании персонализации сайта.
АБ-тест формы или набора форм с контрольной группой
С помощью АБ-тестов можно узнать, как работает несколько механик в совокупности. Например, на сайте есть welcome-цепочка из трех попапов, которые идут друг за другом, и нужно проверить, как они влияют на конверсию в заказ.
- Оставьте один вариант и укажите в нем все попапы из welcome-цепочки.
- Нажмите «Добавить контрольную группу». Контрольной группе не будет показываться welcome-цепочка, которая выбрана в другом варианте. При этом все остальные запущенные на сайте механики эти клиенты увидят.
АБ-тест форм между собой
С помощью АБ-теста можно проверить, какая форма приносит больше пользы для решения задачи.
Например, узнать, какой набор виджетов в карточке товара больше влияет на средний чек покупателей на сайте: популярные товары в категории и сопутсвующие товары или популярные товары и персональные рекомендации.
- В первом варианте укажите формы из первого набора.
- Во втором варианте укажите формы из второго набора.
- Нажмите «Добавить контрольную группу». Посетители сайта из контрольной группы не будут видеть виджеты в карточке товара, которые указаны в остальных вариантах. При этом все остальные запущенные на сайте механики эти клиенты увидят.
Как показывать кампанию всем посетителям сайта, даже если они в контрольной группе
В каждой форме есть настройка, которая позволяет исключить ее из глобального АБ-теста сайта. Она может быть полезна, если есть формы, которые должны показываться всем посетителям сайта, даже если они попали в контрольную группу. Например, попап о том, что на сайте ведутся технические работы.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.
Не стоит запускать более одного теста с контрольной группой для одного сайта одновременно, так как количество посетителей сайта, которые не видят механик, становится плохо предсказуемым, а тесты будут идти дольше. Контрольные группы могут пересекаться, а чем меньше участников видят формы на сайте, тем дольше собираются результаты тестов.
Другие рекомендации по настройке тестов — в статье.
Отчет АБ-теста
Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.
Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.
Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.