Кейс: A/B-тестирование целевой страницы увеличило лиды на 6%

А/В-тестирование дает маркетологам возможность учиться у клиентов, и с помощью полученных знаний улучшать качество маркетинга. Чтобы донести до публики данную точку зрения, компания HubSpot организовала «живое» тестирование во время Optimization Summit 2012, в результате которого количество лидов с одной из целевых страниц увеличилось на 6%.

Данное исследование разбирает шаги по разработке, запуску и анализу, предпринятые компаниями HubSpot и MECLABS в ходе A/B-тестирования, и позволяет изнутри взглянуть на изначальные гипотезы, разработанные для этого теста.

Проблематика

Создание A/B-тестирования и достижение реальных результатов может быть сложным для большинства маркетологов.

Прежде всего, объем технических знаний, необходимый для создания теста слегка выходит за рамки знаний маркетологов, привыкших к созданию посланий и разработке стратегий кампаний.

Во-вторых, координация работы различных отделов, нужная для снижения риска получения неточных результатов исследований, является частью внутреннего маркетинга, а его знания обычно не требуют от маркетологов при приеме на работу.

На Саммите по Оптимизации 2012, перед маркетологами Джессикой Мейер и Меган Андерсон из компании по разработке маркетингового ПО «HubSpot» и исследователями процессов оптимизации Тони Доти и Эрин Феджин из MECLABS, являющейся материнской компанией «MarketingSherpa» стояла задача преодолеть все вышеперечисленные сложности, принимая во внимание участие на саммите еще 280 маркетологов, а также то, что на тестирование отводилось всего два дня.

Этим маркетологам было поручено создать тест, который будет проходить непосредственно на саммите, с целью обучить участников и гостей саммита выполнению теста и интерпретации его результатов. Команда тестировала целевую страницу спонсора, «HubSpot All-in-One Marketing Software», выложившему специальный доклад по результатам в свободный доступ.

Шаг №1: Выбор правильной тестировочной платформы

Для этого теста выбор был прост, так как «HubSpot» является маркетинговой компанией, разрабатывающей ПО и продающей тестировочные платформы.

Используя внутреннюю тестировочную платформу «HubSpot», Мейер удалось создать тест, пропустив этап разработки технологии.

– Ликвидация данного «узкого места» дала нам возможность быстро создать тестовый набор – прокомментировала данный пункт Мейер.

Платформа «HubSpot» позволила Мейер и ее коллегам несколькими кликами задать набор тестовых процедур и подготовиться к самому тестированию.

Конечно, вам следует решить для себя, какая тестировочная платформа наилучшим образом подходит для вашей организации. Тодд Барроу, старший менеджер по разработке программных приложений MECLABS приводит некоторые факторы, которые следует принять во внимание при выборе платформы:

  • Стоимость – Стоимость как самого ПО, так и стоимость его внедрения в вашу организацию.
  • IT-требования – Можете ли вы вносить изменения самостоятельно, или же вам понадобится обращаться в отдел разработки для внесения каждого изменения? Если верно второе, то каковы ваши собственные ресурсы разработки? Есть ли у ПО редактор WYSIWYG для составления шаблонной схемы, или вам придется вручную настраивать HTML для каждого последующего тестирования?
  • Тех. поддержка – Есть ли у продукта служба тех.поддержки по телефону, или же вы предоставлены самим себе?
  • Экосистема технологий – Что за веб-платформа стоит у вас в данный момент (например, это система управления контентом, или статичные страницы), а также как установка новой платформы повлияет на них?

– Даже у так называемого бесплатного ПО есть своя стоимость, – говорит Барроу, – Вам придется платить тому, кто знает, как пользоваться и внедрять данное ПО.

Шаг №2: Сбор и интерпретация имеющихся у вас данных.

Независимо от того, сколько у вас данных, всегда есть некоторое их количество, которое можно отобрать из существующих источников.

В данном конкретном случае, в распоряжении Мейер были данные, полученные в ходе аналогичного теста, проведенного на прошлогоднем саммите по оптимизации.

Хотя сами данные, полученные в ходе теста, были неверны, некоторые отдельные моменты помогли команде спланировать тестирование 2012 года.

– Одним из моментов, на который мы обратили внимание в ходе предыдущего теста, был показатель переходов на страницы генерации лида. Он был выше, чем мы видели когда-либо и достигал 50%. – говорит Тони Доти.
– Таким образом, мы знали, что для достижения статистической значимости нам придется тщательно спланировать шаги тестирования. Следует отметить, что они должны быть достаточно разнообразными, чтобы повлиять на уже раскрученную страницу.

Еще один уроком, который маркетологи усвоили по итогам прошлогоднего исследования, было то, что обработка данных не подходит под ту или иную стратегию.

И даже если предположить, что одна из стратегий, разработанных для прошлогоднего теста, привела бы к успеху, то ни «HubSpot», ни аудитория саммита не знали бы – почему.

Шаг №3: Определение проблем (или возможностей) вашего контроля.

После того, как данные были собраны, а опыт изучен, на повестке дня был поставлен вопрос изучения контроля проблем и возможностей.

– С контролем не было особых проблем, – отметил Доти, – Это была стандартная страница. Однако были способы, с помощью которых мы могли бы улучшить его.

Доти и его команда считали, что смогут улучшить страницу по четырем основным параметрам:

  • Уменьшение количества несогласованностей на странице.
  • Показ монетарной ценности предложения.
  • Увеличение актуальности предложения.
  • Создание изображения, более точно показывающего предложения.

Шаг №4: Создание гипотез и методов тестирования, соответствующих возможностям.

После того, как были определены возможности по управлению, команда смогла быстро разработать гипотезы и шаги для проведения эксперимента.

Все, что оставалось сделать, это создать страницы, которые соответствовали бы возможностям. Создавая специфические гипотезы для каждой из возможностей, команда, по существу, гарантировала, что они получат определенные результаты по итогам тестирования.

Ниже представлены гипотезы, которые выбрала команда:

Гипотеза №1: Посетители переходят на страницу уже высокомотивированными и готовыми скачать книгу благодаря узнаваемости бренда. Убрав несоответствия на странице, можно увеличить количество переходов.
Гипотеза №2: Обращение к актуальности предложения – например, написать, что бесплатное скачивание книги ограничено по времени, приведет к увеличению количества переходов.
Гипотеза №3: Добавление зрелищности странице, например, чартов или графиков скачиваний книги, приведет к увеличению количества переходов.
Гипотеза №4: Включение информации о цене увеличит воспринимаемую ценность электронной книги и увеличит количество переходов.

Шаг №5: Выбор гипотез для тестирования.

После того, как шаги тестирования были разработаны, команда, собранная «HubSpot» попросила гостей саммита помощи в выборе способа тестирования. К сожалению, из-за эффекта искажения примеров, трафика хватало лишь на то, чтобы провести всего один из запланированных методов тестирования. (Примечание: среди факторов, повлиявших на данное решение были высокая заинтересованность аудитории и общая краткосрочность тестирования).

Таким образом, команда представила на суд аудитории Саммита по Оптимизации четыре гипотезы и способа тестирования, попросив их проголосовать.

Гипотеза №2 выиграла и была выбрана для проведения.

В то время как команда, де-факто, использовала аудиторию Саммита в качестве совета по оптимизации, другие участники рынка использовали коллег в отделе маркетинга, IT-отделе, отделе продаж, или друзей, к чему они привыкли во время работы в других компаниях.

Шаг №6: Подготовка тестирования и предотвращение угроз валидности результатов.

При подготовке к началу тестирования, Доти и его команде пришлось принять меры предосторожности, чтобы избежать искажения результатов.

– Мы проверили наши каналы, чтобы в случае обнаружения каких-нибудь подозрительно выглядящих показателей на любом из каналов мы смогли бы удалить его, или отделить некорректные данные до того как ход эксперимента выйдет из-под контроля. – рассказывает Доти.

– Мы также провели несколько проверок качества при помощи тестирования и тестировочного ПО, чтобы убедиться, что во время теста все пройдет именно так, как мы запланировали.

Шаг №7: Запуск тестирования

Благодаря подготовке команды, тест начался практически сразу после того, как аудитория выбрала гипотезу, которую бы они хотели протестировать. Так как тест проходил «в прямом эфире», команда распределяла трафик между контролем и тестированием, используя электронную почту и социальные медиа.

В ходе саммита произошло несколько обновлений тестировочной платформы от «HubSpot». В течение двух дней саммита, трафик, расходуемый на тестирование превосходил затраты трафика на контроль, что указывало на высокую вероятность валидности результатов. В целом, это был «чистый» тест.

РЕЗУЛЬТАТЫ

После теста в нашем распоряжении оказалось достаточно данных для того, чтобы выявить победителя. Команда выяснила, что обработка сгенерировала на 6.8% больше лид-форм, чем контроль при 97% уровне достоверности.

– Я думаю, мы были удивлены тем, что ограниченное по времени предложение оказалось лучше, чем контрольное. Честно говоря, мы никогда не тестировали ограниченное предложение ни на одной из наших страниц скачивания контента ранее. – говорит Мейер.

– Но поскольку выявился небольшой рост активности, мы выяснили, что многие люди переходили на страницу только для того, чтобы получить бесплатный путеводитель.

– По сути, при помощи этого теста, «HubSpot» выяснила, что посетители были более заинтересованы в самом предложении, о чем можно судить по уровню конверсии в 62%, а срочное предложение, или нет, не играет большой роли.

На основе публикации “A/B Testing: How a landing page test yielded a 6% increase in leads”.

 

Понравилось? Тогда лайк, плиз!