- 31 Aug 2023
- 1 минута
- Темная темаСветлая тема
- формат pdf
АБ-тесты мобильных приложений
- Обновлено 31 Aug 2023
- 1 минута
- Темная темаСветлая тема
- формат pdf
АБ-тесты приложений позволяют оценить пользу отдельных in-app’ов и канала в целом, а также выбрать лучший in-app для конкретной механики.
Чтобы добавить АБ-тест приложения, в разделе Кампании → АБ-тесты нажмите «Создать тест» и выберите «На пользователях приложения»:
Настройка теста
Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.
Участники — приложения, пользователи которых станут участниками теста.
Участниками могут быть только пользователи с версией SDK минимум 2.7.0.
Варианты — распределение пользователей приложений для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.
Для каждого варианта можно указать ограничения по показу in-app’ов:
- показывать только определенные in-app’ы;
- показывать все in-app’ы;
- показывать in-app’ы, которые не выбраны в других вариантах (контрольная группа).
Способы настройки вариантов в зависимости от задачи рассмотрены ниже.
Аналитика — выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».
Основной целевой показатель — показатель, по которому считается статистическая значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности.
Как только набираются нужные показатели, персоналу, который запускал этот АБ-тест, отправляется письмо.Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.
После запуска АБ-теста редактировать можно только его название.
Варианты
Глобальный тест приложений
С помощью глобального АБ-теста можно увидеть, как in-app’ы влияют на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение пользователей приложения с in-app’ов и поможет рассчитать окупаемость модуля.
Создайте два варианта:
- с показом всех запущенных in-app’ов;
- контрольную группу.
Тест конкретного in-app’а
С помощью АБ-теста можно узнать, насколько эффективно работают отдельные механики.
Создайте два варианта:
- с показом нужного in-app’а/in-app’ов;
- контрольную группу, которая будет видеть все in-app’ы, кроме выбранного.
Сравнение in-app’ов между собой
С помощью АБ-теста можно проверить, какой набор in-app’ов полезнее для решения задачи.
Создайте варианты для каждого набора in-app’ов:
В тесте возможно запустить до 5 разных веток.
Отчет
Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.
Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.