Книга: Яндекс.Директ. Как получать прибыль, а не играть в лотерею

На что стоит обратить внимание в А/Б-тестировании

На что стоит обратить внимание в А/Б-тестировании

В тестировании есть несколько важных нюансов. Надеюсь, они предостерегут тебя от нескольких частых ошибок.

1. Когда я говорю о том, что для тестирования должно быть минимум 300 кликов и запускать тест нужно на семь дней, я имею в виду, что кампания уже стабильно работает. Если же заявок мало, бюджет «улетает» и вообще непонятно, что происходит (а начальство нервничает), – в этой ситуации можно тестировать даже по дням, в быстром темпе по 150–300 кликов на один тест. Цель такого теста – не постепенное увеличение показателей, а хотя бы минимальное исправление ситуации. Но в этом случае важно особенно глубоко копаться в Метрике, изучать поведение пользователей на сайте и тщательно всё анализировать: каждый тест должен быть максимально взвешен и выверен.

2. Не стоит зацикливаться только на рекламе: обязательно нужно тестировать сайт. Иногда замена заголовка на сайте повышает конверсию в два раза. А ещё можно проверить различные картинки, фон, форму, цвет кнопки, расположение блоков, тексты, шрифты, значки, видео, карту и т. д.

3. Обязательно сохраняй предыдущие варианты кампаний. У тебя должна быть отдельная папка, в которой выгружены все варианты кампаний за всю историю, чтобы в случае чего ты легко восстановил предыдущую версию.

4. Качество теста – на первом месте. Например, ты решил протестировать одностраничный сайт вместо большого. После теста конверсия упала, и логичная реакция – у меня лэндинги не работают. Хотя возможно, на сайте кривая вёрстка, режущий глаза дизайн, сделанный по плохому шаблону, не проработана целевая аудитория, нет логики в расположении блоков, заголовок «не цепляет» и т. д. Тест имеет смысл только при тщательном продумывании и профессиональном исполнении. Если тест оказался неудачным, то первый вопрос, который необходимо задать, звучит так: «А всё ли правильно было сделано?»

5. Тестирование должно быть основано на аналитике. Есть анекдот, где мужик говорит: «В этот Новый год не буду есть мандарины. Пора уже выяснить, из-за чего мне всегда так плохо 1-го января». Смешно? Но так же ведёт себя большинство рекламодателей. Не надо менять что-то случайным образом: проанализируй вебвизор, показатели, объявления конкурентов, выяви слабые стороны – и для них уже проводи тест. Какой смысл тестировать фавикон, когда у тебя доставка осуществляется на следующий день, а у конкурентов – в день заказа?

6. Нельзя путать между собой правки и тест гипотезы. Правка – это исправление ошибки или неточности, какое-либо уточнение. А тест всегда основан на гипотезе, которая, в свою очередь, основана на аналитике. Если нужно что-то исправить – смело меняй в действующей рекламной кампании, не выделяя для этого специально время. Но иногда грань между правкой и тестом может быть размыта. То, что один аналитик увидит как явную ошибку, другой может посчитать спорным моментом. В этом случае стоит посоветоваться с коллегами, услышать их мнение на этот счет. В любом случае решение за тобой.

А как понять результат теста? Многие определяют его на глаз: «Вроде заказов больше не стало». Это в корне неверный подход. Следует замерять все возможные показатели: CTR, конверсию сайта, конверсию отдела продаж (возможно, заявок стало больше, но их качество упало), средний чек, время на сайте, глубину просмотра, показатель отказов. Изучи все показатели по отдельности и в комплексе и только после этого оставь лучший вариант.

Как ты думаешь: 16 августа и 1 сентября, 29 декабря и 12 января поведение потребителей будет одинаковым? Потребности и «боли» те же? Денег в кармане всегда одинаковое количество? Разумеется, какие-то колебания происходят постоянно: дни выдачи зарплат, колебания курса доллара, погода на улице, ТВ-программы и прочее всегда будут добавлять некую погрешность. Если обращать на это внимание, особенно на первых этапах, мы не сможем ничего протестировать. Но есть время, когда тесты проводить я категорически не рекомендую, так как погрешность будет очень большой. Это стыки сезонов покупательской активности, времён года, государственные праздники. Кроме того, всегда стоит учитывать, что в нишах бывает большая и меньшая активность (проведение крупных фестивалей, чемпионаты, выборы, митинги, войны, падение метеоритов и т. д.) – из-за этого спрос может резко меняться. Пример в моей нише: есть один крупный бизнес-тренинг, который проходит несколько раз в год; в один из выходных на нём дают задание настроить Яндекс. Директ, и в течение недели спрос на мои услуги очень большой: много посещений сайта и группы, заявок. Но при этом качество заявок такое, что приходится всем отказывать («настройте мне 5000 объявлений за два дня и за 500 рублей»). Зато многие из обратившихся становятся хорошими клиентами потом, через 3-12 месяцев после тренинга.

В любом случае результат теста нужно закрепить. Для этого есть два варианта. Во-первых, его можно повторить заново и сравнить результаты. Во-вторых, полезно провести А/А-тест. То есть создать те же самые условия, при этом чередуя два абсолютно одинаковых варианта. Порой выводы удивляют и огорчают – у А/А-теста разница между двумя вариантами бывает не меньше, чем у А/Б-теста. И в этом случае принять решение о том, какой вариант оставить, будет очень и очень сложно.

Суть этой главы – внедряй! Хватит читать очередную книгу и смотреть видео – в этом нет смысла, если ты не пробуешь! Прямо сейчас отложи книгу и протестируй текст объявления своей кампании. Важно понять суть А/Б-тестирования и закрепить навык внедрения. У меня есть знакомый, владелец агентства недвижимости в Петербурге. Он проходит огромное количество бизнес-тренингов и мгновенно внедряет абсолютно всё, о чём идёт речь. Тесты – это отдельная статья его расходов: он выделяет на них минимум 100 000 руб. в месяц! По его словам, он готов провести 10 тестов и потратить на это миллион: девять из них не сработают, а десятый удвоит прибыль. И его бизнес действительно работает хорошо! Когда я повторил эту бизнес-модель, моя эффективность также выросла в разы. А эта книга родилась именно благодаря тестам: я провёл их бесчисленное множество, прежде чем сформировал свою концепцию и принципы работы с контекстной рекламой.

Оглавление книги