Книга: Интернет-разведка. Руководство к действию

Язык запросов поисковой машины Яндекс

Язык запросов поисковой машины Яндекс

Лучшая, на наш взгляд, работа по изучению операторов поисковой машины Яндекс выполнена специалистом из Санкт-Петербурга Денисом Фурсовым. На его ресурсе[3] постоянно проводятся дополнительные исследования, отслеживаются и оцениваются изменения в работе операторов указанной поисковой машины.

Ниже речь пойдет о том, как с помощью специальных фильтров, основанных на Булевой алгебре, создавать запросы, максимально соответствующие потребностям специалиста, который ищет информацию в Интернете.

При изучении этого вопроса, не следует забывать, что компьютер очень исполнителен, но лишен способности думать, поэтому следует составлять запрос, исходя из того, что он будет обработан компьютером буквально, а не с учетом того, что же на самом деле имел в виду пользователь, создавая свое обращение.

Лучше всех эту мысль проиллюстрировал летом 2005 г. Алексей Амилющенко, главный аналитик отдела маркетинга Яндекса на следующем примере.

Текст запроса мы будем помещать в квадратные скобки [] для того, чтобы визуально выделить его из текста книги. Если уважаемый читатель решит ввести приведенные ниже запросы в поисковую строку поисковой машины, чтобы проверить их работоспособность на практике, то эти квадратные скобки вводить не надо.

Итак, перейдем непосредственно к операторам запросов Яндекса.

1. Логическое «И».

Яндекс поддерживает три разных оператора, относящихся к логическому «И», что делает его самым гибким из всех поисковиков, работающих с русским языком. Столь развитая, практически уникальная система операторов поисковых запросов дает возможность предельно точно настроить запрос и сформировать такой фильтр для данных в Интернете, который максимально качественно выбирает нужную информацию и отсекает ненужную.

1.1. Пробел.

Слова, разделенные пробелом, должны располагаться недалеко друг от друга. Специалисты поясняют, что термин «недалеко» отнюдь не фиксированная величина и меняется в зависимости от того, с какими словами указанный оператор в каждом конкретном случае используется. Если они часто употребляются, то «недалеко» – значит, на расстоянии нескольких слов друг от друга. Если же они редко встречаются в обиходе, то даже их нахождение в разных концах документа будет восприниматься как «недалеко».

При этом, несмотря на то, что логическое «И» в общем виде Булевой алгебры подразумевает присутствие всех упомянутых слов, Яндекс, тем не менее, действительно выдает сначала те документы, в которых есть все ключевые слова, представленные в запросе. После чего начинает выдавать документы, в которых на одно ключевое слово меньше, чем в запросе, затем – на два слова меньше и так далее.

1.2. Амперсанд (&).

Слова, разделенные амперсандом, находятся в одном предложении. Важно: амперсанд должен быть отделен пробелами с двух сторон от любых других слов.

1.3. Двойной амперсанд (&&).

Слова, разделенные двойным амперсандом, находятся в любом месте одного и того же документа.

Важно: между амперсандами не должно быть пробелов, но сам оператор должен быть отделен пробелами с двух сторон от любых других слов.

Чтобы увидеть это наглядно, читатели могут нажать в результатах выдачи гиперссылку «Найденные слова», которая приводится во всех итогах поиска. И тогда слова, которые есть в запросе, будут подсвечены и не придется тратить время на их «отлавливание» в тексте.

2. Логическое «НЕ».

Логическое «НЕ» представлено двумя операторами.

Прежде чем рассказать о них, отвечу на вопрос, который часто возникает у людей, впервые приступивших к изучению операторов поиска: «Зачем нужно логическое „НЕ“? Его ведь можно и вовсе не вводить, и тогда оно нам не понадобится!». Отвечаем: если мы сами решаем, что нам вводить, а что нет, то это утверждение справедливо. Но проблема в том, что часто в выдаче принудительно оказывается «мусор» и другого способа избавиться от него, кроме как убрать эти слова при помощи логического «НЕ», у нас нет. Так, например, если вас интересует конек крыши, то по слову «конек» в выдаче окажется информация и о роликовых, и о фигурных коньках, и даже о Коньке-Горбунке. Для таких-то случаев логическое «НЕ» и придумано.

Итак, вернемся к нашим операторам.

2.1. Тильда (~).

Знак тильды – это верхняя левая клавиша на буквенно-цифровой клавиатуре. Символ вводится на английском регистре с нажатой клавишей SHIFT. Как и амперсанд, тильда должна быть отделена пробелами с обеих сторон. Часто допускают ошибку, «приклеивая» тильду к следующему за ней слову. Иногда отсутствие пробела между тильдой и последующим словом не влияет на результат, но бывает и наоборот, поэтому лучше внимательно проследить за пробелами вокруг этого знака.

Тильда означает, по аналогии с диаметрально противоположным символом – амперсандом, что слова не должно быть в предложении.

2.2. Двойная тильда (~~).

По аналогии с двойным амперсандом, двойная тильда пишется слитно внутри самого этого оператора, но отделяется от остальных слов пробелами с обеих сторон.

Она означает, что слова, которое за ней расположено, не должно быть в документе совсем.

Обратите внимание: в результатах выдачи слова «маркетинг» и «маркетингу» выделены как релевантные, «маркетинговые» же – нет. Это происходит потому, что термин «маркетинг» – существительное, а «маркетингу» – его словоформа, тогда как «маркетинговые» – совсем другая часть речи, а отнюдь не производное от слова «маркетинг». Подобное явление надо учитывать, если вы рассчитываете на способность Яндекса самостоятельно перебирать словоформы. Игнорирование этого факта нередко приводит к искажению результатов выдачи и также является частой ошибкой начинающих специалистов по поиску в Интернете.

На самом деле, в Яндексе есть еще один оператор логического «НЕ», который обозначается знаком «минус». По мнению Дениса Фурсова, с которым автор полностью согласен, _ «минус» – это не всегда корректно работающая двойная тильда, поэтому пользоваться им смысла нет. Мы не знаем наверняка, но предполагаем, что знак «минус» в качестве логического «НЕ» – это способ унифицировать Яндекс с другими поисковыми машинами, поскольку в большинстве своем они обозначают логическое «НЕ» именно этим знаком. Мы не пользуемся оператором «минус» при поиске в Яндексе.

3. Логическое «ИЛИ» (оператор |).

Логическое «ИЛИ» представлено оператором, имеющим вид вертикальной черты |.

На клавиатуре этот оператор находится обычно выше (реже он расположен ниже) клавиши Enter и вводится в английском регистре, при нажатой клавише SHIFT.

В подавляющем большинстве случаев оператор | и слова, с которыми он используется, заключаются в скобки, так как чаще всего этот оператор относится сразу к двум и более словам.

Обратите внимание, что скобки, как в арифметике при вынесении за скобку общего множителя, позволяют распространить действие оператора «двойная тильда» на все слова, расположенные внутри них.

Кстати, для удобства восприятия этот запрос лучше оформить так, чтобы слова «маркетинг» и «менеджмент» были сгруппированы. Смысловой нагрузки это не несет, а потому и на выдачу не влияет, однако снижает вероятность того, что вы сами запутаетесь в своем запросе, если он будет достаточно длинным. Соответственно, мы бы советовали обратиться к поисковику так:

4. Яндекс учитывает морфологию слов.

Это означает, что Яндекс по запросу «Учет» выдаст результаты, содержащие слова «Учету», «Учетом», «Учетов» и т. п., которые он выделяет как релевантные теме поиска.

5. Можно отключить поддержание морфологии слов.

Если слова с изменяющимися окончаниями «замусоривают» результаты, то можно принудительно заставить Яндекс искать только слова в нужной словоформе. Это бывает полезно, например, при совпадении названия компании с общеупотребительными словами. Скажем, маловероятно, чтобы фирма «Река» упоминалась в публикациях со словами «Реке» или «Реку».

Для того чтобы принудительно искать только нужную словоформу в Яндексе, используют оператор восклицательный знак. Он пишется слитно со словом, которое за ним следует, как если бы этот символ был первой его буквой.

Видно, что количество страниц и сайтов в случае запроса с оператором «восклицательный знак» уменьшается почти в пять раз за счет исключения форм слова «река», таких как «реки», «рекой», «рекам» и пр.

6. Заглавные и строчные буквы.

Яндекс периодически меняет некоторые нюансы в этом вопросе, стараясь, однако, придерживаться главного правила: слова, написанные с маленькой буквы, будут выдаваться и с маленькой, и с заглавной, а слова, написанные с заглавной буквы, будут выдаваться только с заглавной. Изменения, которые периодически происходят в подходах Яндекса к этой проблеме, обычно касаются попыток исправить наиболее распространенные ошибки пользователей. Ознакомиться с текущим состоянием дел можно как на странице помощи самого поисковика, так и в работе Дениса Фурсова. Однако для эффективной работы достаточно просто следовать приведенному в этом разделе правилу.

Если же слово написано целиком заглавными буквами, Яндекс будет рассматривать его как представленное прописными. То есть, результаты ввода в поисковую строку понятия «РИТЕЙЛЕР» будут такими же, как и в том случае, если мы оформим запрос иначе – «ритейлер».

7. Обязательное включение слов запроса в выдачу.

Чтобы искомые слова непременно присутствовали в документах к выдаче, используется оператор «плюс» (+).

Для того чтобы наглядно показать работу этого оператора, сделаем запрос со словами, которые редко оказываются в одном документе. При этом разделим их пробелом.

А затем сделаем точно такой же запрос, но поставим знак «плюс» перед каждым словом, запретив тем самым Яндексу выдавать документы, в которых набор искомых терминов неполный.

Результаты отличаются разительно – вместо тридцати трех тысяч страниц в первом случае, во втором мы имеем всего восемь!

Оператор «плюс» бывает незаменим и в тех случаях, когда есть необходимость обязательно включить в выдачу стоп-слова.

Очень хорошо это описано в работе Дениса Фурсова.

Если какие-то слова должны быть в результатах, поставьте перед ними +'. Помогает со стоп-словами. Сейчас Яндекс, кажется, учитывает стоп-слова только в запросе из трех и менее слов (даже не операндов!). +не покупай (samsung|lg) позволит найти негативные отзывы о продукции этих фирм (сравните с простым 'не покупай (samsung|lg)).

Правда, Яндекс игнорирует стоп-слова как-то бессистемно. Так, запросы:

и

дают одинаковое количество результатов, в которых слово «не» учитывается как релевантное. Тем не менее, поскольку нет возможности проверить, как Яндекс отреагировал на запрос в каждом конкретном случае, мы рекомендуем воспользоваться советом Дениса и ставить «плюс» перед стоп-словами, как, впрочем, и перед теми словами, которые вы обязательно хотели бы видеть в выдаче.

8. Поиск точной фразы.

Не исключено, что вам понадобится найти определенную цитату либо рекламный слоган какой-либо компании.

Для этого используется оператор «двойные кавычки», аналогичные тем, что применяются в прямой речи.

В выдаче при поиске цитаты будут присутствовать документы, содержащие все слова искомой фразы, в той же форме и последовательности, что и в оригинальной ее версии.

Важно помнить, что точной цитата будет лишь в том случае, если кроме фразы, указанной в кавычках, в запросе не будет никаких лишних слов. Если помимо фразы в кавычках появится еще хотя бы одно слово, Яндекс будет выдавать документы, которые содержат все слова цитаты, сохранит их последовательность, варьируя при этом их формы. Как следствие, количество документов в выдаче заметно возрастет. Яндекс называет это «слова идут подряд».

Интересно понаблюдать при такой слаженности результатов за тем, как работает оператор исключения слова из предложения:

9. Слова находятся на определенном расстоянии.

Этот оператор очень часто используется на практике, так как позволяет достаточно четко ограничить поиск. Вид он имеет следующий: /n, где n, по определению самого Яндекса, – это «максимально допустимое расстояние между двумя любыми словами запроса».

Денис Фурсов дает такое определение оператору: «Расстояние между словами».

Мы предлагаем следующим образом запомнить значение цифры в операторе: эта цифра (n) показывает, каким по счету будет второе слово после первого.

Например, если в запросе написано:

то в выдаче будет присутствовать фраза «годовой отчет». Потому что слово «отчет» будет первым после слова «годовой». Если в запросе написано:

то в выдаче может появиться «годовой финансовый отчет», потому что слово «отчет» может быть вторым после слова «годовой», а первым может быть любое другое слово.

Надеемся, мы объясняем доступно, потому что хотим рассказать еще о двух нюансах оператора расстояния между словами.

На самом деле, по запросу:

документы, содержащие выражение «годовой отчет», также будут выданы, потому что меньшее значение расстояния возможно, а большее – нет. Мало того, в выдачу попадет не только сочетание «годовой отчет», но и «отчет годовой». Расстояние между словами распространяется на оба слова.

Если же есть необходимость ограничить выдачу фразой «годовой отчет», исключив из нее выражение «отчет годовой», то оператор можно написать вот так:

Это практически эквивалентно запросу: [годовой /1 отчет ~ «отчет годовой»].

Количество документов в выдаче совпадает, и в первых рядах в момент составления запроса был документ:

Мы не будем чрезмерно загружать читателя описанием оператора расстояния между словами, так как сказанного вполне достаточно для работы, а изучение всех нюансов функционирования поискового движка Яндекса не входит в круг основных наших задач.

Чтобы увидеть разницу между наличием и отсутствием знака «плюс» в операторе расстояния между словами, проведем напоследок такой эксперимент: сначала сделаем запрос, который позволяет появиться в выдаче документам, содержащим, согласно оператору расстояния, как фразе «годовой отчет», так и «отчет годовой», при этом исключив из результатов «годовой отчет»; а затем создадим запрос, требующий, за счет написания оператора расстояния между словами, выдачи только «годового отчета», и убедимся, что при попытке исключения конкретной фразы «годовой отчет» результат получить не удастся.

10. Числоформы (термин, введенный Денисом Фурсовым).

Для того чтобы при запросе какого-либо нужного номера (например, номера приказа или телефона) в выдаче вам не попадались посторонние ИНН, маркировки радиоламп и микросхем, а также прочие лишние результаты, рекомендуется перед номером, который вы ищете, поставить восклицательный знак или взять его в кавычки.

Сами номера надо написать во всех возможных вариантах, разделив их оператором «ИЛИ» и объединив в круглую скобку.

Запросы:

и

дадут одинаковые результаты, в выдаче мы увидим следующее:

11. Поиск на определенном сайте.

Оператор имеет вид url=www.url.ru/cat*. Хотим обратить внимание читателя на то, что на сайте Яндекса этот оператор имеет вид url=www.url.ru/cat/* с косой чертой в конце. Наш опыт показывает, что эта косая черта ухудшает результаты выдачи, поэтому мы рекомендуем записывать оператор без нее, как было показано в начале этого подраздела.

Что касается знака «звездочка» в конце адреса, то это символ маски, который означает, что нас устраивает любая страница сайта, адрес которой начинается так, как написано слева от указанного символа.

Чтобы воспользоваться оператором, позволяющим проводить поиск на определенном сайте, лучше скопировать этот оператор целиком из таблицы на сайте Яндекса, нежели вводить вручную, а затем заменить в нем адрес на нужный пользователю. Так можно свести к минимуму риск орфографической ошибки.

Операторы поиска на определенном сайте можно сгруппировать так, чтобы поиск проводился на группе сайтов. Денис Фурсов приводит такой пример поиска слова «работа» на сайтах www.ko.by и www.superjob.ru, который находит в общей сложности порядка 800 страниц:

12. Оператор ссылки (link).

Этот оператор показывает, какие внешние сайты содержат ссылку на сайт, указанный в запросе. Это один из самых важных для конкурентной разведки операторов, поскольку позволяет найти друзей или союзников конкурента, часто ведет на личные странички бывших либо нынешних сотрудников компаний, может обнаружить размещенные членами их персонала объявления о поиске работы или, например, выявить аффилированные структуры.

Записывается оператор следующим образом:

Как и в предыдущем случае, мы рекомендуем убирать последнюю косую черту, после которой следует символ «звездочка». Если надо найти ключевое слово в ссылающихся на сайт страницах, то оператор link сочетается с обычными ключевыми словами, отделяясь от них двойным амперсандом. Например, зададим поиск понятия «креатив» в сайтах, ссылающихся на адрес издательства «Вершина»: www.vershinabooks.ru.

При этом можно еще раз проиллюстрировать влияние знака «плюс» на результат выдачи в Яндексе. При запросе:

Остальные страницы, показанные в предыдущем запросе, ссылались на сайт издательства «Вершина», но слова «креатив» не содержали.

13. Оператор поиска в заголовке страницы.

Для тех, кто не занимается сайтами профессионально, напомним, что заголовок страницы – это то, что написано на синем (для Windows XP) поле в самом верху экрана, как бы уже за пределами страницы, на ее рамке. А с точки зрения разметки HTML, эта часть сайта заключена внутри тега <TITLE>.

Яндекс справедливо считает, что если ключевое слово содержится в самом заголовке страницы, значит, она однозначно имеет непосредственное отношение к запросу.

Синтаксис оператора выглядит таким образом (на примере поиска слова «разведка» на страницах, содержащих в заголовке словосочетание «ИПК УГТУ»):

Остальные операторы языка запросов Яндекса представляют меньший практический интерес, хотя и значительно расширяют возможности поиска. Ознакомиться с ними можно на странице помощи в Яндексе,[4] пройдя по ссылкам Помощь > Синтаксис запросов.

Оглавление книги