Knowledge Bridge

//Томаш Улэй /5 февраля / 2014

Время A/B-тестирования

Среди всех инструментов для работы с медиасайтами одним из наиболее полезных является A/B-тестирование. A/B-тестирование позволяет значительно оптимизировать процесс принятия решений, а также идеально настроить сайт. При этом работать с A/B-тестированием очень просто. Для этого не нужно читать ряд книг или проходить специальный тренинг. Если вы до сих пор не используете этот инструмент, мы рекомендуем начать – в идеале прямо сейчас.

Что же такое A/B-тестирование? Говоря простым языком, A/B-тестирование – это метод, позволяющий измерять влияние изменений на вашем сайте на поведение посетителей без необходимости вносить эти изменения.

В качестве примера возьмем веб-страницу со статьей, в которую вы вносите небольшое изменение – допустим, вы перемещаете картинку из текущего места в правой колонке в центр. Затем вы показываете новую версию страницы очень небольшой части посетителей и можете увидеть, что будет происходить: будут посетители оставаться на странице дольше или меньше, какой процент дочитает статью до конца и т. д.

После нескольких тысяч просмотров обеих версий вы сможете сравнить результаты и относительно точно определить, приводит ли изменение к улучшениям. Если да, то становится понятно, что будет лучше изменить расположение изображения во всех статьях. Если нет, то вы можете продолжить тестирования.

С помощью этого способа вы можете протестировать любые изменения на небольшом проценте посетителей и выяснить, хорошо ли работает то или иное изменение, до его масштабного внедрения. Кроме того, вы не ограничены тестированием только одного изменения – можно проверить и пять различных вариантов. Продолжая наш пример, вы можете протестировать расположение фото в различных местах (левая колонка, правая колонка, верх, центр и т. д.) и методом проб узнать, какое расположение будет оптимальным.

Проще говоря, A/B-тестирование дает уникальную возможность – которая наверняка пригодилась бы во всех жизненных аспектах – избежать принятия решения каждый раз, когда хочется что-то изменить, а также избежать ожидания и беспокойства о правильности этого решения.

Благодаря A/B-тестированию у вас есть возможность выбрать наилучшее решение из ряда возможных перед его широким внедрением.

Почему нужно использовать A/B-тестирование?

A/B-тестирование является одним из самых практичных инструментов для улучшения сайтов по следующим основным причинам:

• Низкая стоимость, быстрый запуск. Одно из главных преимуществ A/B-тестирования в отличие от опросников и юзабилити-тестирований – это возможность начать его без промедления. А если вы решите использовать один из бесплатных сервисов, вам даже не придется ничего платить. Не нужно с трудом искать участников и долго готовиться. Для начала работы достаточно иметь в голове идею для тестирования и соблюсти определенные правила, описанные ниже. Не требуется нанимать специалиста. В качестве справки вам хватит даже этой статьи.

• Правильность выборки. При использовании опросника или анкеты вы никогда не будете уверены в правильности и репрезентативности выборки пользователей. При использовании A/B-тестирования таких вопросов не возникнет. Вы можете быть уверены в правильности выборки на 100%, ведь она состоит из людей, заходящих на ваш сайт, то есть именно той аудитории, для которой вы его улучшаете. И больше не нужно никого нигде искать.

• Практичность. Выводы стандартных анкетных опросов часто носят теоретический характер: например, что читателям наиболее интересны спортивные новости или что, возможно, им бы хотелось, чтобы в статьях было больше видео. Но как должны выглядеть идеальные спортивные новости? Где именно в статье должен быть помещен видеоролик? Результаты A/B-тестирования в сочетании с юзабилити-тестированием очень конкретны, и кроме того, их сразу можно применить. Они предоставляют вам информацию не только о том, что делать, но и сообщают, как именно это сделать.

 

Начало работы с A/B-тестированием

Итак, как провести A/B-тестирование?

1. Гипотеза. В начале каждого тестирования очень важно иметь «гипотезу», то есть вопрос, ответ на который вы хотите получить с помощью тестирования. Например: будут ли посетители чаще заходить на страницу со статьей, если ее заголовок будет крупнее? Любая новая функция, которую вы хотите внедрить на сайте, также является гипотезой. Например: приведет ли внедрение функции к улучшению реагирования на контент со стороны посетителей? Вероятно, у вас есть ряд идей о том, что можно протестировать. Ниже в статье вы найдете еще несколько советов по этому вопросу.
2. Варианты. Второй шаг – предложение изменений, с помощью которых будет проверяться гипотеза. Это может быть создание нескольких вариантов изначального сайта с новыми функциями или дизайном. Здесь важно не ограничивать себя лишь одной альтернативной версией сайта. Вы можете придумать столько версий, сколько захотите. Так вы можете быть уверены, что не пропустили наилучшее решение. Например, если вы тестируете увеличение размера заголовка для вашей статьи, почему бы не включить в тестирование различные шрифты, цвета или размер? Тестирование позволит определить наилучшее решение.
3. Тестовые параметры. Этап определения тестовых параметров часто недооценивается. К тестовым параметрам относятся любые измеряемые показатели, позволяющие объективно определить, какая страница лучше. Это может быть количество кликов по определенной ссылке, время, проведенное на странице и даже выполнение посетителем определенной операции (например, подтверждение оплаты подписки). В качестве одного из тестовых параметров часто выбирается количество кликов, но, пожалуй, это не всегда наиболее объективный параметр. Внимательно относитесь к выбору измеряемых параметров и старайтесь тестировать большое количество переменных. Так вы сможете увидеть, не принесет ли новая версия больше вреда, чем пользы (например, из-за внесенных изменений больше читателей проходят по ссылке, но сразу покидают страницу, потому что не находят того, что искали).

Какие инструменты использовать для A/B-тестирования?

После определения всего вышеперечисленного можно начинать тестирование. Далее мы подробнее рассмотрим, как это сделать.

В идеале вы можете использовать одно из готовых решений. Их очень много, а некоторые из них даже бесплатны. Это точно проще, чем использовать инструмент A/B-тестирования, запрограммированный специально под ваш сайт. Такое решение тоже возможно, но этот путь определенно сложнее.

При выборе ориентируйтесь в основном на простоту организации тестирования (учитывайте доступность услуг программиста в вашем случае и знания в программировании у того, кто будет проводить тестирование). Разумеется, еще одним ключевым параметром является цена. С платными инструментами часто предоставляются бесплатные обучающие руководства или поддержка, так что бесплатное решение может не всегода оказаться наилучшим.

Вот список некоторых наиболее известных инструментов A/B-тестирования:

Google Analytics является одним из самых известных инструментов A/B-тестирования. Одно из главных его преимуществ по сравнению с конкурирующими продуктами – это бесплатность. Еще одно преимущество – простота работы: нужно просто создать и добавить все версии веб-страницы на сервер. Если текущая страница находится в файле article.php, вы создаете article1.php, article2.php, и т. д.

Далее следует простой пошаговый процесс внедрения:

Если у вас нет аккаунта в Google Analytics, создайте его и после регистрации нажмите кнопку «Эксперименты» (“Experiments”) в разделе «Поведение» (“Behavior”) профиля вашего сайта. Выберите «Создать эксперимент» (“Create experiment”).

Введите URL сайта, который вы хотите протестировать (в нашем примере это article.php) и выберите измеряемый параметр – например, среднюю продолжительность визита, доход и т. д. Определите процент пользователей, который вы хотите включить в эксперимент (установите их количество в зависимости от обычного количества посетителей вашего сайта). Если у вас много посетителей, вы можете провести тестирование страницы на 1% пользователей. Однако если у вас немного посетителей, вы можете долго ждать результатов от выборки размером 1%.

Затем нужно просто добавить URL-адреса измененных тестируемых страниц. Последний шаг – добавить на каждую из них специальный код JavaScript. Код будет определять, какая страница показывается тому или иному пользователю.

Вот и все. Более подробная информация о том, как провести A/B-тестирование с помощью Google Analytics, находится здесь.

Optimizely.com является одним из самых известных платных инструментов для A/B-тестирования. Другие нижеупомянутые платные инструменты работают аналогичным образом. Как и Google Analytics, все они имеют одно существенное преимущество – для проведения тестирования не нужен программист, достаточно добавить на страницу очень простой код JavaScript. Все остальное можно сделать с помощью кликов без необходимости знать исходный код. Это почти как редактирование текста в Word или другом текстовом редакторе – вы можете экспериментировать и менять текст, размер шрифта и любые другие параметры. Вы выбираете процент посетителей, которые увидят тестируемую версию, и измеряемые параметры. Инструмент сохраняет изменения и после начала тестирования он будет отображать измененные страницы случайным посетителям.

К другим популярным инструментам A/B-тестирования относятся Unbounce.com или VisualWebsiteOptimizer.com. Выберите инструмент, подходящий вам лучше всего. Обзор самых известных инструментов находится здесь.

 

Интерпретация результатов

Большинство инструментов сплит-тестирования показывают результаты по мере тестирования и даже рассчитывают, у какой версии самые лучшие результаты. Кроме того, программа помогает определить правильную выборку. На этом этапе процесса от вас больше ничего не требуется.

Однако такое положение дел может стать палкой о двух концах. Несмотря на простоту A/B-тестирования, его можно «испортить» (как и все в жизни) и провести неправильно. Ниже описаны наиболее распространенные ошибки.

• Один параметр, одна гипотеза. Одна из самых распространенных ошибок при A/B-тестировании заключается в стремлении протестировать слишком большое количество параметров одновременно. Не стоит сравнивать два совершенно разных варианта оформления статьи на странице (разные верстка, порядок, элементы). Необходимо помнить, что в рамках одного A/B-тестирования проверяется одна гипотеза и делается одно изменение. Так можно избежать непонимания того, к чему именно привело то или иное изменение, при взгляде на результат. Был ли это цвет фона? Или же сокращение места для рекламы? Вносите лишь одно изменение за раз. А затем тестируйте его.

• Слишком маленькая выборка. Вторая наиболее распространенная ошибка – это нетерпение. Часто у одной из тестируемых версий с самого начала тестирования результаты гораздо лучше, чем у другой. Не останавливайте тестирование на раннем этапе. Доведите его до конца, поскольку в конце результаты могут сильно отличаться от первоначальных. Современные средства A/B-тестирования содержат функцию, которая автоматически рассчитывает необходимое количество пользователей в выборке, чтобы тестирование проходило правильно. Здесь находится калькулятор, который поможет вам определить примерный размер выборки еще до начала тестирования. Если вы тестируете большое количество версий, имеет смысл немного дольше подождать результатов. Кроме того, вы можете повторить тестирование и во второй раз протестировать меньшее количество версий (например, изначальную версию с версией-победителем и версией, занявшей второе место по результатам первого тестирования).

• Неправильный выбор метрик. Даже если вам удастся избежать вышеупомянутых ошибок, есть риск ошибиться в выборе метрик, с помощью которых вы будете измерять последствия изменений. Действительно ли версия, в которой было больше всего кликов, является оптимальной для вас? Или же вы больше заинтересованы в том, чтобы после клика посетители подписывались на ваше издание? Количество кликов обычно является главным критерием в мире интернет-медиа, но не забывайте и о других критериях, которые могут оказаться значимыми для вас.

Советы по тестированию

У вас наверняка много идей о том, что можно протестировать. A/B-тестированием удобно пользоваться каждый раз, когда вы хотите внедрить что-то новое и обсуждаете с вашей командой, как это лучше сделать. Однако стоит подумать не только о новых функциях, которые вы хотели бы добавить на сайт. Подумайте также о том, что уже присутствует на вашем сайте, и обратите особое внимание на следующие аспекты:

• То, что кажется вам само собой разумеющимся (если вы слышите, что «пользователям нравится ххх» или что «лучший способ в данном случае – это ххх», и у вас нет результатов A/B-тестирования, доказывающих это, лучше не слепо верить таким утверждениям, а протестировать их).

• То, что, по вашему мнению, сделано на вашем сайте очень хорошо (по этой ссылке пользователи часто проходят, реклама в правом углу работает отлично). А что, если и это можно улучшить? Не забывайте, что увеличение конверсии даже на сотые доли – уже результат.

• То, что, по вашему мнению, не имеет значения (цвет и размер шрифта, перемещение рекламного блока на 10 пикселей правее и пр.). Если вы будете проводить много тестирований, вы увидете, что многие из не совсем понятных результатов действительно работают. Не полагайтесь только на рациональные критерии и не думайте, что мелкие детали не имеют значения. Они важны и тестировать нужно все.

Вот несколько идей тестирований, которые можно организовать прямо сейчас:

• Правильно оформленная ссылка на статью на главной странице. Что лучше: небольшой заголовок, крупная фотография и отсутствие лида или более крупный заголовок, небольшое фото, но больше текста? Или же ссылка на статью должна выглядеть совсем по-другому? Придумайте несколько вариантов и выясните, что больше нравится пользователям.

• Форматы рекламных объявлений. Вы знаете, что когда их слишком много, они не работают, а когда их немного, уровень конверсии выше, но доход меньше. Как найти золотую середину? Попробуйте различные варианты расположения рекламы на странице и выберите лучший из них.

• Оформление домашней страницы. В интернет-медиа идет вечная борьба за место на главной странице. Каждый сервис и каждый журналист хотят видеть на ней свою статью, но для всех места на главной странице не найдется. Сколько ссылок на статьи разместить, чтобы посетители нажимали на них? Какой раздел лучше поместить в правой колонке, а какой в середине? Проще всего это узнать, попробовав разные варианты.

• Протестируйте формулировки названий всех кнопок на вашей странице. Например, сравните формулировку «Участвовать в обсуждении статьи» «Обсудить статью». Проверьте, что работает лучше и вы, возможно, будете удивлены результатом.

Вы можете почерпнуть идеи и вдохновение для A/B-тестирования на www.abtests.com. На сайте представлен ряд примеров проведенных тестирований, и вы можете сразу посмотреть результаты (которые могут многих удивить).

Если и этого мало, почитайте книгу «Тестирование и оптимизация веб-сайтов. Руководство по Google Website Optimizer» (Always Be Testing: The Complete Guide to Google Website Optimizer). Хотя рекомендации, связанные с проведением экспериментов в Google Analytics (раньше инструмент назывался Website Optimizer) уже устарели, в книге описываются сотни идей и способов улучшения сайта.

Зачем же ждать? Начните A/B-тестирования прямо сейчас!

Автор: Томаш Улэй