Сплит-тестирование с помощью Яндекс-Метрики и нехитрого скрипта

Разработка скрипта для сплит-тестирования чего-либо в Яндекс-Метрике — задача нетривиальная, иногда невозможная в силу клиентского бюджета. Однако мы нашли решение с помощью скрипта, который умеет подменять классы у анализируемых объектов. Скрипт передает данные в Яндекс-Метрику, а именно в параметры визитов.

Чем поможет сплит-тест

Реализация сплит-тестирования поможет определить наибольшую конверсию у различных объектов за один период, например:

• у кнопок разного цвета или исполнения (извечный спор, что эффективнее — красная или зеленая кнопка?)
• у различных по оформлению блоков
• у страницы целиком, оформление которой подчинено правилам CSS.

Иными словами, скрипт подменяет элементы страницы или саму страницу целиком в части оформления.

Преимущество скрипта в том, что содержание страницы остается неизменным, а значит, сплит-тестирование можно проводить без рисков для SEO на продвигаемых в органике страницах.

1 Методика анализа

Прежде, чем перейти к настройке split-тестирования, определимся с методикой проводимого анализа по традиционной для аналитиков схеме:

• Цели
• Задачи
• Система показателей

Цели и задачи

Цель — увеличить конверсию. Задачи:

• проанализировать страницы выхода, обозначить продающий выход или дальнейший конверсионный маршрут;
• предложить способы улучшения продающего выхода или иного объекта;
• подготовить новые объекты по вышеобозначенным версиям;
• подготовить скрипт для сплит-тестирования, определив выборку посетителей;
• задать промежуточные цели в сервисе статистики;
• собрать необходимую статистику;
• проанализировать данные эксперимента, сделать выводы;
• подготовить рекомендации.

При повторном анализе с внедренными рекомендациями можно посчитать эффективность самого сплит-тестирования — насколько затраты на аналитику оправдывают себя.

Система показателей

• уровень конверсии (достижения n целей) позволяет оценить эффективность вносимых изменений в целом;
• показатель отказов — его рост/снижение характеризует влияние вносимых изменений на вовлеченность пользователя;
• время на сайте и глубина просмотра позволяют скорректировать оценку показателя отказов;
• валовая стоимость позволяет в денежном выражении оценить значимость нововведения.

2 Настройка и установка скрипта

Настройка скрипта сплит-тестирования

В рассматриваемом примере мы анализируем, цвет какой кнопки окажет наибольшее влияние на конверсию, т.е. количество нажатий кнопки к общему числу визитов целевой страницы.

Основной класс кнопки GREEN задает зеленый цвет, мы хотим проверить эффективность также красного цвета и синего — классы RED и BLUE соответственно. Количество заменяющих классов может быть разумно неограниченным.

Стандартный участок кода в Метрике

нужно заменить на этот:

Обратите внимание на probability — это вероятность подмены основного класса на заданный. Если убрать это свойство, то классы будут присваиваться объекту произвольно и в равной степени.

Установка скрипта сплит-тестирования

Между тегами head необходимо прописать путь к самому скрипту сплит-тестирования по примеру:

Со скриптом можно ознакомиться по ссылке https://jsfiddle.net/25soyLeb/

Редактирование стилей CSS

Для новых классов .RED и .BLUE необходимо задать стили в Вашем CSS-файле. Например:

После настройки данные начнут поступать в сервис статистики. Увидеть можно во вкладке Метрики «Содержание» > «Параметры визита»:

Параметры визитов вкупе с целями можно посмотреть во вкладке  Отчеты — Конверсии.

3 Стоимостные показатели

Помимо величины конверсии, интересно узнать, сколько денег "принесла" каждая кнопка. Собственно, код на этот случай (добавить перед script в тех же параметрах):

Важно

1. В коде Метрики после accurateTrackBounce:true вставьте следующий код

2. Поставьте цель "Подтверждение заказа" методом по урлу или reachGoal (через кнопку).

Получать данные из Метрики по стоимостным показателям можно во вкладке Содержание, далее Параметры интернет-магазина.

Выводы и рекомендации

На основе этих данных можно делать выводы и предлагать рекомендации. Однако для уверенных выводов требуется большая выборка и  элиминирование влияния различных факторов. Особенно важно учитывать трафик сразу после разработки сайтов — как правило, это помогает сразу выявить ошибки юзабилити и улучшить представление сайта.

Почему мы выбрали Яндекс-Метрику

Альтернативой вполне мог стать Universal Analytics от Гугл. Но мы сделали выбор в пользу Яндекс-Метрики по этим причинам:

• логика и структура Метрики ближе к российскому пользователю, чем Гугл Аналитикс. За данными сплит-тестирования клиенты смогут следить самостоятельно.
• терминология Яндекс-Метрики и методика расчета схожих показателей описывает экономические задачи российского рынка (часто краткосрочные), в то время как показатели Google Analytics рассчитаны на более стратегическое управление бизнесом.

Как мы заголовки меняли Гугл обыгрывает Яндекс?