Настройка и проведение тестов¶

Настройка А/Б-теста¶

1. В главном меню Roistat выберите пункт А/Б-тесты:

   

2. Выберите, какой тип теста вы хотите создать:

   

3. Настройте и запустите тест:

Просмотр и управление¶

При входе в раздел А/Б тесты автоматически открывается список всех тестов.

Тесты разделены на 2 категории:

• Активные тесты;
• Архивные тесты – остановленные тесты, по которым не собирается новая статистика. Если вы восстановите тест из архива, он снова запустится на сайте, и статистика снова начнет отправляться.

Рядом с заголовком категории отображается количество тестов.

В табличной части каждому тесту соответствует одна строка.

Для тестов отображается следующая информация:

• Название теста – наименование созданного теста;
• Тип теста – один из трех типов теста: CSS, Программируемый или Равномерный;
• Дата начала – дата и время начала теста с точностью до секунды;
• Дата окончания – дата и время окончания/остановки теста с точностью до секунды;
• Продолжительность – продолжительность теста в секундах, минутах, днях или др.;
• Количество визитов – число посещений сайта с тестируемым интерфейсом.

Тесты на вкладке Запущенные тесты можно:

• Запустить, если это тест CSS, с помощью кнопки Запустить тест;
• Остановить с помощью кнопки Остановить;
• Возобновить с помощью кнопки Продолжить;
• Переместить в архив запущенный тест с помощью кнопки Архив;
• Отредактировать, если это тест CSS, с помощью кнопки .

Тесты на вкладке Тесты в архиве можно:

• Восстановить с помощью кнопки Восстановить – тест вернется в список активных тестов и снова запустится на сайте;
• Отредактировать, если это тест CSS, с помощью кнопки .

Отредактировать запущенный или завершенный тест невозможно. Но вы можете создать копию этого теста, нажав кнопку Клонировать на открывшейся странице настроек теста. В скопированный тест можно вносить любые изменения.

Результаты тестирования¶

Выводы о результатах А/Б-тестирования часто основываются на конверсии. Это необъективно, так как заявки не всегда конвертируются в продажи. 

Для просмотра результатов теста необходимо в Списке тестов нажать на его название:

На странице результатов теста отобразится общая информация о нем:

• Название теста, его тип и состояние;
• Период – продолжительность теста в секундах, минутах, днях или др., а также начальная и конечная/текущая даты;
• Визиты для этого теста – количество посещений сайта с тестируемым интерфейсом за весь период.

Результаты проведения тестирования отображаются ниже в виде таблицы.

Результаты проведения теста представляют собой статистику по сделкам, которые сгруппированы в таблице по тестируемым вариантам интерфейса. Например, в данном случае тестируются исходный вариант, Вариант 1, интерфейс с голубым оформлением и красным оформлением:

Подробная статистика отобразится, если вы развернете список. Данные внутри каждого варианта теста сгруппированы точно так же, как и в основном отчете в разделе Аналитика:

Для просмотра деталей сделок нужно навести курсор на вариант интерфейса и кликнуть на четвертый по счету значок (Показать список сделок):

В таблице отображены следующие бизнес-показатели:

• Визиты;
• Конверсия в заявки;
• Заявки;
• Конверсия в продажи;
• Продажи;
• Выручка;
• Средний чек;
• Расходы;
• CPO;
• ROI;
• Польза варианта (в рублях);
• CBA;
• CBA+.

При наведении на название показателя появляется всплывающая подсказка, напоминающая, что означает данный термин:

У вас есть возможность управлять отображением результатов в таблице:

1. Выбирать период, за который вы хотите просмотреть значения показателей. Для этого нажмите нужную кнопку над таблицей: календарь, Сегодня, Вчера, Неделя, Месяц, 3 месяца:

   

2. Выбирать те тестируемые варианты, рекламные каналы, кампании, ключевые слова и сделки, по которым вы хотите увидеть общую статистику. Для этого установите флажки напротив нужных позиций и посмотрите на строку Итог/Среднее. По умолчанию отображается общая статистика по всему тесту, хотя флажки и не установлены:

   

Данные можно упорядочить по любому из показателей, нажав на его название. По умолчанию они упорядочены по заявкам в порядке убывания.

Ключевыми считаются два показателя, выражающие вероятность некоторого варианта победить остальные:

• CBA – вероятность, основанная на конверсии из визитов в заявки. Используется, если цикл продаж оказывается большим, например, от визита на сайт до продажи проходит несколько месяцев. Для подсчета CBA заявок должно быть больше 5.

• CBA+ – вероятность, основанная на прибыли. Используется в большинстве случаев, так как показатель основан на прибыли и показывает, какой из вариантов заработал больше денег. Для подсчета CBA+ продаж должно быть больше 5.

  Если количества заявок или продаж недостаточно для подсчета, значения показателей CBA и CBA+ не будут отображаться в таблице. В таком случае вы можете попробовать увеличить период, за который рассчитываются значения показателей, чтобы появилось больше данных для подсчета.

Если разрыв между показателем-лидером и остальными оказывается очень велик, это значит, что результатов теста собрано достаточно, а вероятность, что лидирующий вариант не победит, мала. Это и является сигналом того, что тест пора останавливать: у вас есть вариант, который гарантированно победит и принесет большую прибыль.