Книга: Яндекс.Директ. Как получать прибыль, а не играть в лотерею

Техническое решение

Техническое решение

Существует несколько технических решений проведения А/Б-тестирования. Директологи постоянно спорят, какое из них эффективнее. Поэтому я опишу все варианты, указав их преимущества и недостатки.

Есть два основных вида тестирования: одновременно и по очереди. В первом случае два объявления чередуются между собой автоматически, показываясь по очереди (их ротирует Яндекс). Очевидное преимущество такого метода в том, что внешние условия (начиная от количества конкурентов и заканчивая курсом доллара) одинаковы для каждого объявления. Во втором случае объявления показываются по очереди, но чередуем их мы сами – по часам, дням, неделям или даже месяцам. Внешние условия меняются, но по некоторым другим параметрам такой вариант имеет преимущества.

Для любого случая тестируется вся кампания или большая однотипная группа ключевиков (например, если мы продаём готовый бизнес, то можно отдельно протестировать группу горячих ключевиков, которые содержат слово «франшиза»). Тестировать отдельное объявление есть смысл, если показатели по нему слишком низкие. Но об этом мы будем говорить в следующей главе, сейчас же важно понять общие принципы теста. Также важно понимать, что в разные дни (например, понедельник и четверг) и в разное время дня люди ведут себя абсолютно по-разному. Сравнивать клики, сделанные утром и вечером, нет никакого смысла.

Начнём с первого варианта. Здесь есть два способа: запуск двух кампаний одновременно или тестирование с помощью групп объявлений.

Группы объявлений – инструмент Директа, который позволяет на один ключевик сделать несколько объявлений. Он показывает их по очереди и через какое-то время оставляет самое кликабельное (имеющее самый большой CTR). Выглядит здорово, но есть большой недостаток: система ротирует их очень медленно, причём на практике совсем неравномерно – в разное время суток, в разные дни недели. Поэтому есть смысл использовать только для ВЧ-ключевиков или в РСЯ. Каждое объявление нужно пометить своей UTM-меткой, чтобы смотреть не только его CTR, но и другие показатели. На поиске, сделав группы для высокочастотников, лучшее объявление потом переносится на все остальные НЧ-ключевики. Я не люблю этот способ ещё и потому, что в нём всё автоматизировано и на ход теста нельзя повлиять. Единственный параметр оценки Яндекса – CTR. В скором времени показываться будет только одно из объявлений. С помощью групп я тестирую только картинку в РСЯ и призывы к действию – элементы, которые влияют, как правило, только на CTR.

Дополнительная группа объявлений делается очень легко. Для этого необходимо в рекламном кабинете перейти в управление кампанией с помощью Excel и выгрузить рекламную кампанию. С помощью фильтров найди строчки с объявлениями, которые требуется протестировать. Скопируй эти строчки полностью и вставь в самом низу, под все остальные объявления (для удобства их можно выделить цветом, чтобы не перепутать с уже существующими строчками). В колонке «дополнительное объявление группы» поменяй «-» на «+».

Очисти поля «ID объявления» (только в новых строчках!). И поменяй в объявлениях тестируемый элемент (например, призыв к действию). Также стоит изменить UTM-метки (utm-content=zagolovokl), чтобы в метрике можно было посмотреть, какое из объявлений лучше сработало.

Картинку поменять немного сложнее, так как для этого нужно изменить ссылку. Самый простой вариант – заранее (до выгрузки) поменять картинку в одном из объявлений с помощью интерфейса и скопировать ссылку на неё в новые добавленные строчки (колонка «изображение»).

После этого сохрани файл и загрузи его обратно в интерфейс.

Таким образом, на один ключевик может быть два и более объявления, которые Яндекс будет чередовать самостоятельно, пока не выявит более кликабельный вариант.

Кстати, так же можно сделать отдельное объявление для мобильных устройств. Они могут быть короче, без переноса части текста в заголовок, с призывом к действию «звоните»! В файле всё делается аналогично добавлению объявлений в группы, только в колонке «мобильное объявление» также нужно поменять «-» на «+».

Запуск двух кампаний одновременно чем-то похож на тесты с помощью групп объявлений: мы делаем две копии кампании (с одним-единственным отличием) и запускаем обе. Яндекс показывает их по очереди, постепенно оставляя лучшие объявления. Этот метод включает в себя все недостатки групп и имеет ещё один, гораздо более существенный: в одной кампании уже есть накопленный CTR, вторая – абсолютно новая, и в ней считается прогнозный. Поэтому объявления будут показываться на разных позициях и преимущество будет у первой кампании: вторая будет видна гораздо реже.

Тестируя объявления по очереди, мы избегаем всех этих недостатков. Всё тестируется в одной кампании, поэтому CTR одинаковый. На тест каждого варианта выделяется семь дней. Практика показывает, что в один и тот же день недели люди ведут себя схожим образом. Главное, не тестировать на стыке сезонов и в праздники. Тест идёт сразу по всем ключевикам, в том числе по низкочастотным. Для одной группы ключевиков текст объявления срабатывает, как правило, один и тот же. Однако тестировать только по ВЧ не очень хорошо: тест затянется. Ведь основную массу переходов мы получаем именно с НЧ. А подводить итоги одного теста можно минимум по 300 кликам. Поэтому этот вариант я считаю оптимальным.

Технически это делается очень просто: выгружается кампания, в ней меняется один элемент, загружается обратно. Все данные до теста лучше куда-нибудь записать. Через неделю новые показатели анализируются и сравниваются с предыдущими. После этого выбирается лучший вариант и проводится следующий тест.

Однако и в этом случае есть свои недостатки, причём существенные: зачастую одна неделя может существенно отличаться от другой. Особенно это касается рынка В2С (Business to consumer, то есть это товары и услуги для конечного потребителя), так как там большое влияние имеют дни зарплат. В этом случае остаётся следующий метод – «шахматки». Это не самый мой любимый метод, но в подобных случаях альтернативы ему на данный момент не существует. Понять, насколько сильно отличается одна неделя от другой, очень просто. Для этого нужно накопить статистику хотя бы за месяц и посмотреть, велики ли скачки. Если важные показатели (раскрыты в предыдущей главе) каждую неделю «скачут» более чем на 10 % относительно среднего показателя, то тест по неделям теряет всякий смысл. Невозможно будет оценить, вызвано изменение тестом или очередным скачком.

Пример приемлемого разброса CTR – не более 7 % от среднего

Метод «шахматки» подразумевает создание двух новых кампаний, показы в которых чередуются по часам (0–1 час – первая кампания, 1–2 часа – вторая кампания и т. д.). Тестировать необходимо так же одну неделю. Безусловный плюс этого метода – равномерный показ объявлений при одинаковых внешних условиях. Однако и минусы у него не самые приятные. Во-первых, тестируя таким образом, приходится каждый раз создавать новые кампании – в противном случае из-за различного накопленного CTR они будут в неравных условиях, и результат может оказаться обманчивым. (Напомню, что от CTR зависит доля показов на высоких позициях и стоимость входа на них.) А если каждая кампания получает хотя бы 70-100 кликов в день, то реальный CTR начнёт оказывать своё влияние уже к концу тестируемой недели. Во-вторых, любая кампания, запущенная с нуля, имеет время так называемого «расклика». Первые дни Яндекс как будто не доверяет новым объявлениям и начинает их очень аккуратно, постепенно «внедрять» в аукцион. Требуется некоторое время, чтобы объявления раскочегарились на полную мощность и наравне с остальными рекламодателями участвовали в аукционе. Порой в особо конкурентных нишах «расклик» занимает как раз около недели. Из-за этого приходится или выставлять завышенные ставки, или терять значительную часть показов (до половины). Третья проблема – невозможность набрать действующий CTR и снизить цену клика, если проводить один тест за другим (а ведение кампании подразумевает постоянное тестирование). Приходится каждый раз создавать две новые кампании, которые вынуждены заново набирать CTR. А как показывает практика, прогнозный CTR обычно ниже, чем реальный. Поэтому цена клика по ходу ведения кампании не снижается, как это обычно происходит (нередко за счёт хорошего CTR удаётся снизить расходы в 2–3 раза). А кому хочется переплачивать?

Поэтому данный метод хорош для разовых глобальных тестов в том случае, если поочерёдные недельные тесты невозможны из-за скачков. Но его постоянное использование приводит к значительной переплате и потере показов.

Настроить «шахматки» очень просто. Кампания выгружается из интерфейса дважды (создаём два дубля). В обоих файлах необходимо очистить ячейку «№ заказа» (номер рекламной кампании, состоящий из 7–8 цифр). В одном варианте больше ничего не меняем, во втором вносим те изменения, которые необходимо протестировать. Обязательно меняем UTM-метки, чтобы в метрике легко различить оба варианта между собой. Выгружаем обе кампании в интерфейс, как новые, и заново выставляем все параметры. С помощью временного таргетинга настраиваем чередование, как показано на скриншоте ниже. Важно удостовериться, что случайно не выставлено одно и то же время. Выстави время начала и окончания кампаний таким образом, чтобы они автоматически включились в понедельник ночью и отключились в воскресенье вечером. Основную кампанию, копия которой тестируется, также надо вспомнить вовремя остановить и настроить время запуска. Кроме того, назови кампании так, чтобы четко понимать, что именно в них проходит тест. (Например, «Шахматки/поиск/горячая/свето-диоды/вариант 2»).

Этим методом можно тестировать и отдельные объявления – не обязательно целую кампанию.

Настройка временного таргетинга для «шахматок»

Оглавление книги