АБ-тесты мобильных приложений

АБ-тесты приложений позволяют оценить пользу отдельных in-app’ов и канала в целом, а также выбрать лучший in-app для конкретной механики.

Чтобы добавить АБ-тест приложения, в разделе Кампании → АБ-тесты нажмите «Создать тест» и выберите «На пользователях приложения»:

Настройка теста

Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

Участники — приложения, пользователи которых станут участниками теста.

Варианты — распределение пользователей приложений для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Для каждого варианта можно указать ограничения по показу in-app’ов:

• показывать только определенные in-app’ы;
• показывать все in-app’ы;
• показывать in-app’ы, которые не выбраны в других вариантах (контрольная группа).

Способы настройки вариантов в зависимости от задачи рассмотрены ниже.

Аналитика — выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

• Основной целевой показатель — показатель, по которому считается статистическая значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности.
  Как только набираются нужные показатели, персоналу, который запускал этот АБ-тест, отправляется письмо.

• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

• Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
  Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

Варианты

Глобальный тест приложений

Создайте два варианта:

• с показом всех запущенных in-app’ов;
• контрольную группу.

Тест конкретного in-app’а

Создайте два варианта:

• с показом нужного in-app’а/in-app’ов;
• контрольную группу, которая будет видеть все in-app’ы, кроме выбранного.

Сравнение in-app’ов между собой

Создайте варианты для каждого набора in-app’ов:

В тесте возможно запустить до 5 разных веток.

Отчет

Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.