Seobility делится опытом. Как провести успешный сплит-тест: 7 подводных камней

Задайте себе вопрос – можно ли улучшить Ваш онлайн-бизнес? Если ответ да, то скорее всего Вам поможет А/Б-тестирование и сопутствующие инструменты. Большинство интернет-маркетологов, наверняка, знакомы с техникой проведения А/Б-тестов, однако до сих пор данный ресурс остается неиспользованным.

Благодаря А/Б-тестам можно расширить свой онлайн-бизнес и увеличить число продаж с сайта. Причем тестирование сегодня один из самых доступных и проверенных способов, чтобы повысить конверсию, улучшить клиентский опыт поведения на целевой странице, сделать сайт ориентированным на продажи.

Агентство интернет-маркетинга Seobility на основании своего опыта проведения АБ-тестов выделило несколько «подводных камней», зная которые, можно избежать многих ошибок.

 

1. Вопрос, с которого все начинается: «Что тестировать?»

На самом деле вариантов огромное количество. От цвета и заголовка, до формы заявки и функциональности сайта. Здесь главное не увлечься и проводить тесты, сравнивая два варианта однотипных элементов. Тогда риск получения недостоверных результатов уменьшается. Старайтесь, например, в одном тесте вычислить лучший заголовок, а во время проведения другого – изменить цвет или размер CTA (call to action) кнопки. Тем не менее, различия между вариантами должны быть значительными, тогда понадобится меньшее количество трафика для теста.

 

2. Какая длительность проведения эксперимента?

Обычно результаты А/Б-теста считаются справедливыми, если уровень статистической значимости достигает 95%, что означает вероятность появления случайных различий в данных не более 5%. Следовательно, достоверный эксперимент будет подтверждать не случайные изменения итоговых результатов. Однако помните, что достижение статистической значимости никак не связано с доказательством выдвигаемой в начале теста гипотезы! Этот показатель лишь означает, что различия между вариантами действительно существуют. Поэтому необходимо дополнительно принимать во внимание показатели статистической мощности и доверительного интервала.

Нельзя доверять преждевременным результатам. Необходимо длительное наблюдение за ходом теста. Исходя из нашего опыта, потребуется около 3 недель. Советуем проводить АБ-тесты с определенным числом будних и выходных дней, а также брать равные периоды времени суток.

Учитывайте особенности конкретной аудитории: продолжительность совершения покупки, периодичность бизнес-циклов и т.д. При этом эксперимент не должен длиться слишком долго (больше месяца), иначе данные начнут «засоряться» повторными посещениями и другим трафиком.

 

3. Какое количество трафика и конверсий достаточно для проведения А/Б-теста?

Перед началом теста рассчитывайте минимальное необходимое число посетителей для каждой страницы эксперимента. Для этого можно пользоваться онлайн-калькуляторами.

Калькулятор позволяет вычислить примерное число посетителей для достижения статистической значимости АБ-теста при определённой статистической мощности.

 

4. Какой источник трафика использовать?

Можно направить на тестируемую страницу посетителей только из контекстной рекламы или органический трафик, или трафик с определенными метками.

Однако избегайте смешивания разных источников трафика, поскольку поведение посетителей может сильно отличаться. Существует вероятность получить большое число случайных значений и сделать ошибочные выводы. С другой стороны, не всегда выводы, сделанные во время эксперимента для некоторой выборки, можно распространить на весь сайт и трафик в целом. Поэтому в ходе А/Б-тестирования необходимо учитывать индивидуальные факторы.

 

5. Какой вид эксперимента проводить: А/Б-тестирование (сплит-тест) или мультивариантное тестирование (одновременное изменение сразу нескольких элементов на одной странице)?

Как мы уже писали, эксперимент лучше проводить с однотипными элементами. Поэтому логичнее проводить А/Б-тесты с использованием различных URL для каждого варианта, а не динамические подстановки случайных вариантов.

Для мультивариантного теста потребуется гораздо больше трафика, так как увеличивается число сочетаний вариантов.  Это, в свою очередь, провоцирует появление ложно положительных результатов АБ-тестирования.

 

6. Не стоит однозначно доверять статистике

После долгих недель теста может оказаться, что в эксперименте случайно принимало участие 80% пользователей с мобильных устройств, и выводы теста получаются не релевантными для основной аудитории. Поэтому мы рекомендуем интегрировать систему веб-аналитики до начала тестирования. Например, Google Analytics. Это позволит провести сегментирование трафика и выявить расхождения. С помощью статистики вы сможете отфильтровать дополнительный источник трафика, который мог повлиять на результаты эксперимента, или другие факторы, которые не были учтены заранее.

 

7. А/Б-тестирование для отдела маркетинга должно стать перманентным процессом

Кратковременное повышение конверсии по прошествии некоторого времени ничего не принесет и будет нивелировано другими факторами. Именно поэтому старайтесь после окончания одного теста сразу начинать новый. Вы должны понимать, что потенциал повышения конверсии практически бесконечный.

И еще…не забывайте, что непрофессиональная настройка теста способна дать в корне неверные результаты.

Удачных экспериментов!

Наши Клиенты
  • www.belbohemia.com
    www.belbohemia.com
  • www.tut.by
    www.tut.by
  • www.hoster.by
    www.hoster.by
  • www.mtbank.by
    www.mtbank.by
  • www.sity.by
    www.sity.by
  • www.opel.by
    www.opel.by
  • www.volna.by
    www.volna.by
  • www.daroo.by
    www.daroo.by
  • www.dewpoint.by
    www.dewpoint.by
  • www.bulbash.com
    www.bulbash.com
  • www.schneider-electric.by
    www.schneider-electric.by
  • www.uruchie.by
    www.uruchie.by
  • reebok.tam.by
    reebok.tam.by
  • www.minsk-lada.by
    www.minsk-lada.by
  • www.keramin.by
    www.keramin.by
  • www.adidas-zamok.tam.by
    www.adidas-zamok.tam.by
  • www.svyaznoy.by
    www.svyaznoy.by
  • fizcult.by
    fizcult.by
  • www.priorbank.by
    www.priorbank.by
  • jobs.tut.by
    jobs.tut.by
  • www.nissan-belarus.by
    www.nissan-belarus.by
  • www.irr.by
    www.irr.by
  • www.eshko.by
    www.eshko.by
  • www.rcmtrucks.by
    www.rcmtrucks.by
  • www.ehu.lt
    www.ehu.lt
  • www.argument.by
    www.argument.by
  • www.ssangyong.by
    www.ssangyong.by
  • www.megatron.by
    www.megatron.by
  • www.mitso.by
    www.mitso.by