Книга: Раскрутка: секреты эффективного продвижения сайтов

Недобросовестные веб — мастера, или как попасть в черный список

Недобросовестные веб — мастера, или как попасть в черный список

В сравнении с обстановкой десяти– и даже пятилетней давности заработок дается вебмастерам меньшей кровью. Казалось бы, делай сайты для людей (СДЛ), наполняй их толковым контентом, занимайся SEO и юзабилити – и хоть продавай ссылки с них сам, хоть сотрудничай с агрегаторами и биржами. Однако даже при наличии короткой дороги к благоденствию находятся те, кто ищет обходной, энергетически, интеллектуально и финансово менее затратный путь вне зависимости от того, насколько он этичен и приемлем в современной экосистеме поиска. Тактически они даже выгодны системам, стремящимся собрать под своим крылом максимум площадок, однако стратегически они балласт индустрии. О противодействии махинациям веб — мастеров со стороны бирж, о типовых и неклассических, почти безобидных и безусловно вредных хитростях в продаже ссылок мы побеседовали с Сергеем Федюниным, руководителем проектов ссылочной биржи MainLink.

Что нужно делать рекламодателям или тем, кто покупает ссылки, чтобы выявить недобросовестных веб — мастеров?

Сергей Федюнин: Веб — мастер может допускать как явные, так и неявные нарушения. Неявные сложно назвать нарушениями в полной мере. Например, когда веб — мастер размещает ссылку, а она через некоторое время пропадает. Такая ситуация может быть вызвана тем, что у него не работает сайт, возможны проблемы с хостингом, или по IP что — то не пропускает. Его вины как таковой нет, и роботы биржи контролируют подобные вещи – видят, что ссылки нет, и включается «счетчик недоступности». У нас обычно по достижении 15 суток «нахождения в ауте» ссылка списывается автоматически. В течение периода недоступности рекламодатель денег за нее не платит, а веб — мастер не получает платы. Как он разберется со своими проблемами, захочет ли разобраться – его дело.

Другой вопрос – нарушения, которые веб — мастер делает осознанно. Во — первых, сюда относится закрытие ссылок от индексации. Чаще всего используется тег noindex или атрибут rel = "nofollow". Во — вторых, бывает, веб — мастер после добавления сайта в биржу начинает в robots.tx скрывать определенные разделы. Первые два случая – noindex или rel="nofollow" – даже в автоматическом режиме выявляются достаточно просто. Ну а в случае с robots.tx только вручную сам рекламодатель при проверке ссылок может обнаружить.

Но может быть и так, что веб — мастер что — то закрывает на сайте, в том числе через robots.txt, с помощью JavaScrip не из злого умысла, а, например, для улучшения весов страниц? Что делается в таком случае?

С. Ф.: Если рекламодатель обнаружил такую вещь, веб — мастеру, естественно, будет отправлено письмо: «Вам это необходимо исправить». Если веб — мастер вменяемый, не из злого умысла это сделал, то с ним получается договориться. Случается, закрывают что — то, потому что попутно продают сайт.

Это общая практика бирж? Принято сначала делать предупреждение?

С. Ф.: Да. Что касается robots.txt, если веб — мастер говорит, что ему нужно закрыть какие — то страницы, мы отвечаем: «Хорошо, но не продавайте ссылки с этих страниц!» Он:

«Все, без проблем!» И вопрос исчерпан. Деньги, естественно, рекламодателю возвращаются, потому что налицо прямое нарушение.

Наша биржа возвращает деньги рекламодателям за ссылки, которые были скрыты визуально либо закрыты от индексации умышленно. Визуальное сокрытие ссылок – классический вариант. Что делает веб — мастер, когда гонится за доходом? Он, к примеру, на нескольких биржах продает очень большое количество ссылок со страницы и пытается их закрыть так, чтобы и сайт приносил посетителей, и можно было зарабатывать на ссылках. Выявление всех видов нарушений, к сожалению, в автоматическом режиме не представляется возможным. Есть общепринятые способы, которые детектируются автоматически с помощью плагинов и средств самой биржи: применение средств HTML и CSS, клоакинг и т. д. Классика жанра – это (div style ='display none'>. Просто блок ссылок помещается в контейнер div, прописывается вышеуказанный атрибут, и получается, что ссылки на странице не видны, а роботам биржи они доступны. Таким образом, деньги капают, а фактически ссылок нет. Другой вариант – "position:absolute; left:", иначе говоря, применение абсолютного позиционирования. В рейтинге наиболее широко употребляемых способов он занимает второе место. Прописываются lef или op – что угодно, причем совершенно разные значения. Почему — то часто делают именно 500 пикселов. Но я даже видел

-1000000px. Или -5532px. Может быть, это сродни «магическим» приемам?

Делается div шириной в пиксел, и запрещается выход элемента внутри контейнера за границы контейнера – overflow:hidden. Если бы такого свойства не было, ссылка стандартным шрифтом из div просто показывалась бы, а таким образом запрещается показ и получается ссылка маленькая — маленькая, которой не видно.

Распространено применение visibility:hidden – он достаточно просто реализуется тем же самым контейнером div. Размещение ссылки цветом фона страницы также относится к методам HTML и CSS.

Можно еще указать размещение очень мелким шрифтом, но отнести это к полному сокрытию нельзя, хотя нарушением оно является. В подобном случае мы делаем предупреждение веб — мастеру: «У вас ссылки размещены слишком мелко, увеличьте шрифт». Если требование не выполняется, то ссылки списываются и сайту закрывается возможность дальнейшей продажи. Раньше мы просто отписывали веб — мастеру: «У вас скрытые ссылки, вам нужно устранить нарушение в течение такого — то срока, иначе сайт будет забанен». Вебмастер чаще всего исправлялся. В противном случае рекламодателю возвращали деньги и сайту дальнейшие продажи блокировали.

На что вы реагируете жестче – есть ли градация? Бывает, что по нескольку раз «последнее китайское предупреждение» делаете?

С. Ф.: Самая жесткая реакция – на сокрытые ссылки. Как только к нам поступает жалоба, ссылка списывается с возвратом средств, сайт блокируется. Бывает, даже без предупреждения: у веб — мастера в интерфейсе отображается, что за нарушение сайт закрыт от дальнейших продаж. Если он хочет в дальнейшем работать с нами, то обращается к нам. Если нет, то все равно никто у него ссылки больше купить не сможет. Обычно код ставится на все страницы сразу, «сквозняком» – либо в шаблон, либо в случае с ASP. NE с помощью Master Page. Если код прячется в div, то на всех страницах будет одинаково. Где бы у него ни купили ссылку, все равно получат скрытую.

Иначе мы реагируем на неверную кодировку. По данному вопросу у нас есть специальная инструкция, но, к сожалению, не все смотрят, как настроить кодировку вывода ссылок в самом коде. В итоге либо рекламодатели жалуются, либо сами веб — мастера пишут: «У меня что — то непонятное вылезает вместо нормальных ссылок». Если веб — мастер написал, то скидываем ему ссылку на инструкцию, в худшем случае наш технический специалист объясняет ему по телефону, а если недовольство выказал рекламодатель, то веб — мастеру делается предупреждение о том, что ему нужно в течение такого — то срока исправить кодировку ссылок. За размещение ссылок мелким шрифтом тоже полагается предупреждение. Если веб — мастер, будучи уведомлен, не исправляет кодировку или оставляет мелкий шрифт ссылки, точно так же сайт закрывается, а деньги возвращаются рекламодателю. У веб — мастеров, которые допускают нарушения не в первый раз, аккаунт банится, и они больше не могут работать на бирже.

Они могут когда — нибудь реабилитироваться? Допустим, сменился владелец сайта и через полгода он обращается к вам?

С. Ф.: В таком случае могут. Чаще всего либо по телефону звонят, либо пишут на [email protected] лично руководителю службы поддержки. Бывает, что вебмастера ставят на особый контроль и если замечают его в жульничестве повторно, то «отказывают ему от дома» раз и навсегда. Год — два назад у нас менее жестко было, целые эпопеи разворачивались: забанен – разбанен, забанен – разбанен! Как правило, банили сразу аккаунт. Сейчас — то мы сайты определенные закрываем. Но за некоторыми веб — мастерами такой шлейф нарушений тянулся, что мы перестали церемониться. Когда перед нами оправдываются: «У меня ссылка хоть и вынесена за кодом left: — 500px, но я же ее не закрыл и поисковики ее видят», мы объясняем, что поисковики к таким ссылкам относятся негативно. Вопрос сразу исчерпывается, как правило.

Второй вид нарушений, который связан с полным сокрытием ссылок, – это клоакинг. Тоже классика жанра. Здесь примерно 60 % приходится на средства HTML и CSS, а другие способы, в том числе связанные с применением JavaScript, какие — то суперхитрые, составляют 4 – 5 % (встречал своего рода «трехмерное» сокрытие с использование z — index, однако это единичные случаи). Как осуществляется клоакинг? Веб — мастер настраивает все таким образом, что сайт доступен. Прежде всего вычисляются IP, по которым ходят наши роботы – проверяльщики ссылок, и берется два разных контента: один содержит ссылку, другой – нет. И нашим роботам подсовывается контент со ссылкой, а браузерам пользователей и поисковым индексаторам – совершенно другой. Если по IP робота заходить, то ссылку видно, а если своими глазами смотреть, то ссылки нет, и в коде тоже. Отдельные рекламодатели, хорошо разбирающиеся в предмете, сразу присылают нам жалобу на клоакинг, что избавляет нас от необходимости докапываться до того, в чем проблема.

Небольшая ремарка. После того как мы сказали, что возвращаем деньги за скрытые ссылки, многие рекламодатели начинали копаться в своих ссылках и присылали иногда по 30 – 40 страниц сайта, где ссылки якобы нет. Причем с «наездами», с жесткими формулировками: «Это что? Вы обманываете!» По случайности одна — две ссылки могут действительно оказаться скрытыми. В нашей справке даже один раздел называется «Если купленной ссылки нет на сайте» и содержит призыв пользоваться браузерным поиском: просто текст ссылки вводите в поиск, и отлично все находится. Да и то одной — двух ссылок, может быть, нет на сайте потому, что они только куплены и еще не успели проставиться. В ответ на клоакинг мы принимаем жесткие меры. Естественно, допустивший обман веб — мастер лишается той части дохода, которую он с такой ссылки получил. Неважно, сколько времени прошло: месяц, два, полгода. Вся эта часть списывается, и рекламодателю возвращается полная стоимость ссылки, которую он внес. Мы в таком случае даже не берем 20 %-ную комиссию как биржа.

Помню пару примеров, полученных с помощью дополнения FireBug к Firefox. В случае с (ul.style.display ='none') он даже подсвечивает, что эта область скрытая. В ней ссылки расположены, даже разделители есть. Следующий вариант: что — то в CSS прописали, проставили id, указали display:none или еще что — нибудь. Ну и в (div> контейнер содержит весь блок ссылок – он скрыт. В коде это легко видно, а на сайте – нет.

(strong>Что еще в действиях веб — мастеров ведет к тому, что они в конечном счете попадают в черный список?(/strong>

С. Ф.: Что веб — мастера делают в погоне за наживой? Например, постоянно повышают цены на уже купленные ссылки. Подобная ситуация возникает часто. Бывает так, что сайт продает очень много ссылок, но вдруг попадает под фильтр и веб — мастер начинает резко повышать цены, чтобы хоть что — то с него срубить.

Сюда же относится ранее обсужденное нами недобросовестное размещение ссылок: сокрытие, маскировка с использованием цвета фона, закрытие от индексации. Размещение ссылок, которые приводят к выпадению в Error, но в таких случаях веб — мастер зачастую оказывается не виноват: у него какие — то проблемы с сайтом возникают, он даже может о них и не знать. Размещение слишком большого количества ссылок на странице тоже делается в погоне за прибылью. Такие сайты чаще всего оказываются под фильтрами, в черном списке у рекламодателей.

Какими средствами можно обнаружить скрытую от индексации ссылку?

С. Ф.: В первую очередь посредством автоматического контроля – средствами самой биржи, которые позволяют обнаруживать ссылки в Error или те, что находятся в тегах noindex и имеют атрибуты rel='nofollow', то есть неиндексируемые. В случае с визуально скрытыми ссылками нам приходит на помощь полуавтоматический контроль – использование тулбаров и сервисов. У нас существует MainLink oolbar, который видит display none и другие классические варианты. Если на странице явно выставлено (div style ='display none'>, он это распознает, ну или в CSS может увидеть.

SEO-специалисты не зря рекомендуют перед покупкой ссылки воспользоваться специальными плагинами, которые, например, позволяют обнаружить на сайте абсолютное позиционирование. Оно очень редко применяется, чаще всего именно для того, чтобы скрыть ссылки.

Проверка ссылок на индексацию тоже осуществляется. Если сайт сам по себе плохо индексируется, это не очень хорошо: значит, ссылка не будет индексироваться, она будет стоять втупую и «кушать» бюджет, поэтому она тоже удаляется. Мы советуем в случае с «Яндексом», если ссылка не индексируется за 20 – 30 дней, от нее избавляться.

Самым надежным, к сожалению, остается ручной контроль, поскольку только так на текущий момент можно выявить действительно все. Все ссылки проверяются только руками.

Можно ли все проверить вручную?

С. Ф.: Каждую ссылку, в принципе, можно проверить руками, но зависит от того, кто сколько покупает. Если продвижение не требует большой ссылочной массы, прекрасно можно руками все проверить даже на предмет того, есть ссылка на сайте или нет. А с помощью тулбара можно выполнить проверку на индексацию.

Но если ссылок много, невозможно будет вручную все проверять. Каков в среднем по системе процент ссылок неработающих, не приносящих пользу?

С. Ф.: В среднем по системе на каждый миллион ссылок, проданных ежедневно, скрытых ссылок около тысячи (это те, что обнаруживаются), закрытых в noindex – 600 – 700, с rel='nofollow' – около 150. Скрытых может быть и больше, потому что не все удается выявить. В базе у нас больше 640 тыс. сайтов, и вручную проверить все нереально.

Стоит ли овчинка выделки – обман биржи? Предположим, веб — мастер обладает навыками, чтобы устроить хитрое сокрытие ссылки, используя тот же JavaScript. Сколько он может заработать дополнительно на таких «подлых» способах, раз уж решился ими воспользоваться?

С. Ф.: Как гипотетически заработать на продаже ссылок? Нужно, во — первых, их как можно больше ставить на страницу, а во — вторых, чтобы их все — таки покупали. Все данные сайта в бирже прописываются, роботы определяют, сколько страниц в индексе у сайта. Если сайт под фильтром, с него просто никто покупать не будет. Приходится искать компромисс. Кто — то предпочитает скрывать все ссылки (блоки по десять штук на странице), попутно повышая на них цену, а на то, что с сайтом будет с точки зрения поисковика, махнуть рукой. Однако рекламодатель имеет возможность настроить процент повышения: на 20, на 10, на 5 %. Даже сейчас по умолчанию 1 % стоит. Это значит, что если веб — мастер повышает цену больше чем на 1 % от текущей, то она попадает у рекламодателя в специальный раздел «Измененные цены». Там она висит две недели до принятия решения рекламодателем. Если его новая цена устраивает, то он ее одобряет, а если нет, то либо сам списывает, либо она через две недели автоматически снимается. На таком способе много заработать не получится: потом только хуже будет.

Случается, что хитрый веб — мастер поступает следующим образом. Был у него сайт, но аккаунт забанен и с того сайта невозможно продавать ссылки. Он начинает писать с другого аккаунта с подтверждением прав доступа к сайту: «Пожалуйста, перенесите мне те сайты». Мы смотрим: все сайты отключены, аккаунт забанен – и пометку делаем, что просит перевести с другого аккаунта. Происходит разбирательство, и бывает, что мы все — таки идем человеку навстречу, но пометка все равно стоит, и при следующем нарушении полностью его блокируем. Но мало ли: вдруг он осознал и исправился? Чаще всего, к счастью, либо склонные к мухлежу веб — мастера сами уходят, либо они исправляются и продолжают работать нормально. Бывает, конечно, и так: «А почему? Все индексируется. А, все. Я от вас ухожу!» Пожалуйста. Нам не нужны, извините, сайты, которые скрывают ссылки.

Каких сайтов больше в системе – тех, что сделаны для людей, или все — таки ГС, каждый из которых приносит по $10, но делаются они массированно? И какие из них приносят больше денег?

С. Ф.: И те и другие присутствуют. Больше все — таки зарабатывают владельцы достаточно хороших сайтов, у которых высокие показатели тИЦ. На нашей бирже сайты — «нулевики» практически ничего не зарабатывают, потому что у них почти никто не покупает. При покупке ссылок у нас чаще всего используются автоматические фильтры, которые настроены на тИЦ 30 минимум. Как показывает практика, те сайты, которые наличествуют в «Яндекс. Каталоге», есть и в каталоге DMOZ. Чаще берут входящие в «Яндекс. Каталог» сайты с тИЦ выше 30: обычно ссылки с таких сайтов оказываются хорошими и работают. Да, человек может добавить скопом тысячу «нулевых» сайтов, но это нами контролируется. Если некто добавляет очень много сайтов, это отмечается. В сентябре 2011 года был случай, когда при мне мигом забанили веб — мастера, который пытался добавить пачкой сайты, сгенерированные автоматом. Таким сайтам путь на биржу закрыт.

Владелец даже одного хорошего сайта (СДЛ) с высокими показателями зарабатывает больше, чем хозяин 20 – 30 ГС. Можно, конечно, заморочиться, сделать тысячу сайтов руками, чтобы они походили на нормальные, даже чтобы они какую — то посещаемость имели. Но каждые полгода база очищается и от сайтов. Да и сами рекламодатели отсекают «пустышки»: они выбирают аккуратно, вручную, стремясь купить, может быть, поменьше, но покачественнее.

Стало быть, биржи, в частности MainLink, идут тем путем, который недавно декларировал «Яндекс». Вспомним сентенцию Александра Садовского, произнесенную на круглом столе в марте 2012 года: «Мы за ссылки, которые ставятся по любви на сайтах для людей!»

С. Ф.: В целом тенденция именно такая. А кроме того, рекламодатели могут покупать у нас не только ссылки, но и другие форматы рекламы, которые тоже для PR в Интернете подходят: это и пресс — релизы, и SEO — объявления, по виду напоминающие блок контекстной рекламы. В эти сервисы – «SEO — объявления» и «Пресс — релизы» – поступают сайты. Они на входе подвергаются жесткой ручной модерации по различным параметрам: по содержанию, по наличию текста на странице и т. д. Естественно, сайты, нарушающие действующие законы, содержащие порно, сразу отклоняются. Посещаемость (не меньше 100 человек в сутки) учитывается, количество страниц в индексе, возраст сайта можно примать во внимание. Если сайт достаточно давно существует и мы не знаем, сколько реально у него страниц, но не меньше 300, значит, он действительно развивается и нам подходит. Причем объявления размещаются по принципу «одно на страницу», и запрещается продавать биржевые ссылки со страницы. Таким образом, мы идем на компромисс: и рекламный эффект, и SEO — эффект достигаются. Плюс это «вечный» формат. По крайней мере в течение полугода мы контролируем процесс вручную. Ручной контроль проходит каждое объявление (то, как оно размещено). Это идет на пользу как рекламодателю, так и веб — мастеру, потому что веб — мастер таким образом тоже может хорошие деньги выручить: у нас даже специальный калькулятор дохода есть. Конечно, кто — то недоумевает: «Это же “вечное” размещение. А как быть, когда мы все страницы забьем?» Отвечаем мы так: «Предположим, у вас очень хороший сайт, на нем не одна тысяча страниц. Продав со 100 страниц только объявления, вы заработаете гораздо больше, чем если бы по три ссылки со всех продавали». Цена, помимо всего прочего, от показателей зависит. И рекламодателю удобно: он в рассрочку платит эти полгода по 1/180 от стоимости объявления в сутки. Выплатив всю сумму (она не такая уж крупная), он получает вечную ссылку или даже две на хорошем ресурсе, который контролируется вручную.

Ну а пресс — релизы используются скорее для повышения известности бренда и в других целях. Это больше PR-, а не SEO — формат. Тем не менее ссылки туда можно вставить, и от них тоже будет эффект.

А с SEO — объявлениями веб — мастера хитрят? Какие меры вы принимаете?

С. Ф.: В случае с объявлениями, если у веб — мастера они выпадают в недоступные, система через какое — то время автоматически заблокирует дальнейшие продажи с его сайта. Если он скрывает объявления, сайт тоже блокируется. Терпим один раз. После второго предупреждения сразу баним, и все сайты из продажи объявлений удаляются. Но случаев сокрытия с момента запуска сервиса было обнаружено всего пять, причем еще вначале.

Вдобавок требования к объявлениям другие. Мы стараемся, чтобы они ближе к верху страницы были, оказывались видны пользователю – либо после основного контента, либо над статьей, либо после статьи (пользователь почитал материал – увидел объявление). Таргетированное размещение, если можно так выразиться. Пару раз в noindex запихивали объявления, но это тоже достаточно быстро выявляется, даже автоматически.

Но все — таки наша биржа выступает скорее как посредник, а «SEO — объявления» – небольшой бонус для рекламодателей. В остальном работа по покупке качественных ссылок ложится на плечи оптимизатора. Мы же, если имеет место сокрытие ссылок, списываем таковые, на вопросы – отвечаем. По поводу объявлений нам писали: «Объявление слишком низко! Мне не нравится». И мы специально связывались с веб — мастерами, чтобы они подняли блок объявлений; блок тоже можно вручную выводить, но чаще кодом. Владельцы хороших площадок много в них вложили, поэтому стараются больше заработать, но не подставляясь под удар. Они не будут свой сайт под фильтры загонять размещением кучи ссылок, они предпочтут дополнительно заняться продажей других форматов рекламы, на которых можно заработать больше, чем на ссылках.

Оглавление книги