Книга: Интернет-разведка. Руководство к действию

Поиск в Гугле (Google)

Поиск в Гугле (Google)

Гугл (google.ru) становится все более популярным. За ним стоит колоссальный финансовый ресурс, которым грамотно распоряжаются. Так, по информации из интервью инженера по программному обеспечению Google Мэта Катса, уже в 2002 г. «каждые 28 дней Google индексировал 3 млрд веб-документов, в том числе более трех млн новых страниц каждый день».

Этот поисковик в чем-то проигрывает Яндексу, а в чем-то выигрывает у него. Поскольку Для удобства читателя при рассказе об операторах Гугла будем в ряде случаев проводить их сравнение с аналогичными операторами Яндекса.

1. Основы поиска.

Чтобы ввести запрос, напечатайте ключевые слова и нажмите ENTER либо щелкните кнопку «Поиск в Google».

Гугл использует интеллектуальную технику анализа текстов, которая позволяет искать важные и вместе с тем релевантные страницы по вашему запросу. Для этого система анализирует не только саму страницу, которая соответствует запросу, но и те, которые на нее ссылаются, чтобы определить ценность этой страницы для целей вашего поиска. Кроме того, Гугл предпочитает страницы, на которых ключевые слова, введенные вами, расположены недалеко друг от друга.

2. Показ ключевых слов в результатах.

Каждый раз в списке найденных страниц Гугл показывает отрывок из текста на странице, выделяя в нем ключевые слова. Тем самым облегчается их обнаружение по всему тексту.

Второй способ увидеть ключевые слова – загрузить страницу по ссылке «Сохранено в кэше». Недостаток данного способа (хотя конкурентной разведкой это нередко рассматривается как преимущество) – в том, что вы видите не ту страницу, которая есть сегодня, а т у, которая сохранена в базе Гугла. Изначально эта опция была придумана для того, чтобы сохранить возможность просмотра страницы даже в тех случаях, когда сервер, на котором она расположена, недоступен.

Третий способ – традиционный для просмотра текста в браузере – заключается в использовании сочетания клавиш CTRL+F. В результате должно появиться окно «найти», в которое необходимо ввести искомые слова. Раскладка клавиатуры, установленная в этот момент на компьютере, значения не имеет.

3. Логическое «И».

В отличие от Яндекса, в Гугле всего одно логическое «И», оно наиболее близко к рассмотренному ранее поисковому механизму «&&» в сочетании с оператором «плюс», поставленным перед каждым словом запроса.

Это логическое «И» позволяет выдавать документы, которые принудительно содержат ключевые слова в любом месте текста. По умолчанию при написании слов запроса через пробел Гугл ищет документы, содержащие все слова запроса.

Интересно, что Гугл может показать и те источники, кoтopые ключевых слов не содержат, однако они присутствуют в ссылках на показанную страницу. В таком случае при просмотре информации с помощью ссылки «Сохранено в кэше» будет видна надпись: «Эти слова присутствуют только в ссылках на эту страницу».

Описанный механизм работы Гугла хорошо виден, если посмотреть ключевые слова на странице сайта о работе в Самаре, сохраненной в кэше.

Эти слова выделены:

А это слова присутствеют только в ссылках на страницу:

4. Логическое «ИЛИ».

Оно пишется с помощью оператора OR. Обратите внимание: оператор этот должен быть написан заглавными буквами и отделен пробелами с обеих сторон от слов, расположенных перед ним и после него.

Важно знать, что, в отличие от Яндекса, Гугл не поддерживает такой оператор, как скобки.

5. Заглавные буквы или строчные?

В отличие от Яндекса Гугл не различает регистр букв. Все буквы воспринимаются как строчные, вне зависимости от того, как их вводили в поисковую строку. Запросы:

дадут одинаковые результаты.

Результат поиска на момент написания книги:

6. Стоп-слова.

Во вспомогательных инструкциях (хэлпах) написано, что Гугл, подобно большинству поисковых систем, игнорирует стоп-слова. Кроме того, хэлпы утверждают, будто, как и многие другие поисковики, Гугл имеет механизм принудительного включения стоп-слов в результаты поиска. К таким элементам относится большинство артиклей английского языка, союзов и предлогов русского языка.

В реальности ситуация, похоже, складывается иначе.

7. Оператор «Плюс» (+).

Тем не менее, бывают ситуации, когда надо принудительно включить в текст какое-либо слово, которое может иметь варианты написания. В хэлпе Гугла приводится пример с запросом «Star Wars Episode I», где римская единица представляет собой латинскую букву «I» («ай»). Если сделать запрос просто как:

то результат будет следующий:

В том числе в выдаче появятся слова

Если сделать запрос:

то результат будет такой:

И в него войдут только тексты, содержащие слово «Episode I».

8. Морфология слов.

Гугл не поддерживает морфологию слов. Их изначально следует вводить в нужных формах. Правда, отчасти это компенсируется интеллектуальной системой поиска, которая может найти нужную словоформу в ссылках на страницу. Чтобы проверить утверждение об отсутствии поддержки морфологии, возьмем такое языковое сочетание, по которому можно увидеть все без исключения результаты. А сочетание следующее: «Глоклая куздра».

Правда, это не мешает Гуглу иногда выделять по запросу «площадь» слово «площади» как релевантное. Однако подобное встречается на странице выдачи, но не в кэше.

Просто для сравнения приведем результат Яндекса. По всем трем запросам о «глоклой куздре» система дала на момент написания книги одинаковый результат:

9. Улучшение запроса во время поиска.

Поскольку Гугл выдает все слова, которые вы вводите в запросе, имеет смысл составлять новые запросы, содержащие те слова, которые вы забыли ввести в начале поиска, но обнаружили в ходе его выполнения в найденных текстах. В ряде случаев это помогает улучшить результат. Подчеркнем особо – это должны быть именно отдельные запросы. Добавление же новых слов к уже имеющемуся списку порой приводит к излишнему сужению диапазона результатов, ведь Гугл будет пытаться выдать документ, в котором содержатся все искомые слова.

10. Исключение слов из запроса. Логическое «НЕ».

Как известно, часто при составлении запроса встречается информационный мусор. Чтобы его удалить, стандартно используется оператор исключения – логическое «НЕ». В Гугле такой оператор представлен знаком «минус». Здесь он идентичен поисковому механизму Яндекса «двойная тильда» («~~»), исключающему слово из всего документа. Используя его, можно исключать из результатов поиска те страницы, которые содержат в тексте определенные слова.

11. Поиск точной фразы.

Найти точную фразу, как мы уже говорили, требуется либо для поиска текста определенного произведения, либо для поиска определенных продуктов или компаний, в которых название или часть описания представляет собой стабильно повторяющееся словосочетание. В отличие от Яндекса, который может менять формы слов, входящих в текст, заключенный в кавычки, Гугл такой способностью не обладает. Мы отмечали, что эта система словоформы вообще не поддерживает.

Чтобы справиться с поиском точной фразы при помощи Гугла, требуется заключить запрос в кавычки (имеются в виду двойные кавычки, которые применяются, например, для выделения прямой речи).

Забавным, но показательным примером может быть задание из учебника русского языка для 7 класса под ред. Н. М. Шанского, где на стр. 45 предлагается разделить текст на абзацы. Автор – М. Шолохов. Произведение не указано. Приведем фрагмент текста:

Введем этот текст в кавычках в Гугл и получим следующий результат:

Как выяснилось, этот фрагмент относится к произведению «Тихий дон» (книга четвертая). Курьез же состоит в том, что у М. Шолохова этот текст оказался вообще не разбитым на абзацы.

Гугл воспринимает в качестве знаков, связывающих слова в единую фразу, не только кавычки, но и такие символы, как дефис, слэш (косая черта), точка, знак равенства, апостроф.

Во всех вышеприведенных случаях первым в выдаче стоит текст, фрагмент которого приведен ниже:

При этом все три слова:

рассматриваются как отдельные, но стоящие рядом и в этой же самой последовательности.

Интересно, что по запросу:

оказалось на 100 документов больше, чем по остальным, но если взять это слово в кавычки, то результат уравнивается:

Чтобы прояснить этот казус, введем следующий запрос:

В итоге получим:

В выдаче появятся тексты такого содержания:

12. Количество слов в строке поиска.

Во многих источниках встречается информация, согласно которой поисковая строка Гугла вмещает 10 слов или что Гугл проводит поиск лишь по 10 словам. Проведенный нами эксперимент эти данные не подтвердил. Так, введем запрос из 23 слов:

В КЭШе подчеркнуты все 23 слова, и в тексте они также присутствуют. Если изменить запрос, используя логическое «ИЛИ» вместо логического «И», то результат прогнозируемо меняется, но все слова в выдаче по-прежнему выделены Гуглом.

13. Стемминг (а также wildcard).

Стемминг – возможность усечения слова до его корня. После усечения слова до его корня производится поиск релевантных вариантов слов, производных от этого корня. Другими словами, стемминг позволяет искать все однокоренные слова.

Техника поиска по маске (wildcard) предствавляет собой написание базового слова (или части слова), после которых идет символ маски – «звездочка» (*), заменяющая собой любое возможное продолжение слова. Таким образом, если поисковая машина поддерживает поиск по маске, то ищутся все слова, которые одинаково начинаются. Эта техника особенно удобна, когда вам неизвестно точное написание конкретного слова, либо когда вы хотите включить все возможные варианты слова в свой поиск. Например, когда по запросу

получают как «тарталетку», так и «тартар».

Так вот, Гугл эти технологии не поддерживает (как, впрочем, и Яндекс). Зато он поддерживает вариант, когда вместо целого слова вводится звездочка.

Например, по запросу:

будет выдано:

с подчеркиванием всех этих слов, в том числе буквы «и». В какой-то степени это похоже на поиск с расстоянием между словами, применяемый в Яндексе. По запросу:

будут получены результаты:

где слово «Семеновская» не считается релевантным и не подчеркивается Гуглом.

14. Дополнительные операторы.

14.1. Оператор cache:

Поисковая машина хранит версию текста, которая проиндексирована поисковым пауком, в специальном хранилище в формате, называемом кэшем. Кэшированную версию страницы можно извлечь, если оригинальная страница недоступна (например, не работает сервер, на котором она хранится). Кэширо-ванная страница показывается в том виде, в котором она хранится в базе данных поисковой машины, и при показе пользователю сопровождается надписью наверху страницы о том, что это страница из кэша. Там же содержится информация о времени создания кэшированной версии. На странице из кэша ключевые слова запроса подсвечены, причем каждое слово для удобства пользователя подсвечено своим цветом. Например:

Можно создать запрос, который сразу будет выдавать кэшированную версию страницы с определенным адресом: Так, запрос:

будет сразу выдавать версию страницы www.bstm.ru из кэша, а не проверять ее нынешнее состояние.

Внимание: пробела между оператором cashe: и URL’ом запрашиваемой страницы быть не должно.

Если вы хотите, чтобы ключевые слова на кэшированной версии страницы были подчеркнуты, их надо через пробел указать после оператора cashe: и адреса страницы.

Например:

14.2. Оператор info:

Оператор info: позволяет увидеть информацию, которая известна Гуглу об этой странице.

Например, запрос:

дает следующий результат:

Внимание: пробела между оператором info: и URL’ом запрашиваемой страницы быть не должно.

14.3. Оператор site:

Этот оператор ограничивает поиск конкретным доменом. То есть, если сделать запрос:

то результаты будут получены со страниц, содержащих слова «маркетинг» и «разведка» именно в домене «acfor-tc.ru», а не в других частях Интернета. Если сделать запрос:

то будут получены документы, содержащие слово «scip» и расположенные в доменной зоне «.ru».

Внимание: пробела между оператором site: и URL’ом запрашиваемой страницы быть не должно.

14.4. Оператор link:

Этот оператор позволяет увидеть все страницы, которые ссылаются на страницу, по которой сделан запрос. Например, по запросу:

будут получены известные Гуглу ссылки на статью о поиске через Яндекс, написанную liveuser.

Внимание: пробела между оператором link: и URL’ом запрашиваемой страницы быть не должно.

14.5. Оператор allintitle:

Если запрос начать с оператора allintitle:, что переводится как «все – в заголовке», то Гугл выдаст тексты, в которых все слова запроса содержатся в заголовках (внутри тега Title в HTML).

Например, запрос:

даст результаты, где слова «википедия» и «яндекс» содержатся внутри тега Title на просмотренных поисковой машиной страницах. На момент написания статьи результат был таким:

14.6. Оператор intitle:

Показывает страницы, в заголовке которых содержится слово, расположенное непосредственно после опретора intitle:,; все остальные слова запроса могут находиться в любом месте текста. Если поставить оператор intitle: перед каждым словом запроса, это будет эквивалентно использованию оператора allintitle:

На момент написания статьи результат был таким:

Внимание: пробела между оператором intitle: и последующим словом быть не должно.

14.7. Оператор allinurl:

Если запрос начинается с оператора allinurl:, то поиск ограничивается теми документами, в которых все слова запроса содержатся исключительно в адресе страницы, то есть в URL.

Так, на момент написания статьи для запроса:

результат был таким:

Внимание: оператор allinurl: работает лишь со словами, а никак не со служебными фрагментами URL. Такие специальные символы, как слэш или точка, не окажут положительного влияния на результат. Напротив, влияние будет отрицательным, поскольку они могут быть восприняты Гуглом как попытка ввести в запрос точную фразу.

Например, запрос:

равно как и

результата не дал вообще.

14.8. Оператор inurl:

Слово, написанное слитно с оператором inurl:, будет найдено лишь в адресе страницы Интернета, а остальные слова – в любом месте такой страницы.

Например, для того, чтобы найти слово «разведка „на сайтах, содержащих в адресе сочетание букв «tc“, можно сделать такой запрос:

Результат на момент написания статьи:

Был представлен следующим текстом:

«Otryady-5

Если оператор inurl: поставить перед каждым словом запроса, это будет эквивалентно использованию оператора allinurl:.

Внимание: пробела между оператором inurl: и последующим словом быть не должно. Внимание: оператор inurl: работает только со словами и не работает со служебными фрагментами URL. Такие специальные символы, как слэш или точка, не окажут положительного влияния на результат. Влияние будет отрицательным, так как они могут быть восприняты Гуглом как попытка ввести в запрос точную фразу.

Например, запрос

равно как и

результата не дал вообще. Результат мог бы быть, если бы в адресе какой-то страницы содержалась точная фраза «tc/razvedka» или «tc.razvedka».

В этом можно убедиться, введя запрос:

И этот результат начинается с текста:

По запросу:

И этот результат начинается с текста:

14.9. Оператор related:

Этот оператор описывает страницы, которые «похожи» на какую-то конкретную страницу. Так, запрос

дает результат:

Мы не считаем, что все страницы действительно подобны странице сайта it2b. ru, с точки зрения человека, а не робота. Хотя некоторые из них действительно посвящены схожей тематике.

На самом деле первым в выдаче стоит сайт it2b.ru, который специализируется на вопросах использования технологий разведки для бизнеса. А вот вторым – сайт компании «SW-Trans», предлагающей услуги по перевозке грузов.

Можем предположить, что основанием для сравнения двух сайтов послужило упоминание на ресурсе грузовой компании услуг по охране маршрутов, их сопровождению машинами со спецсигналами, о предусмотренных в таких случаях пропусках и о «решении всех возможных дополнительных проблем, возникающих при транспортировке». Наряду с транспортной компанией, Гугл включил в «подобные» страницы и такие источники, как журнал «Sales/Business (Продажи)», в котором встречается немало публикаций о предпринимательских рисках и о конкурентной разведке, а также компанию «Информзащита», работающую в области обеспечения информационной безопасности.

Внимание: пробела между оператором related: и последующим словом быть не должно.

14.10. Оператор define:

Этот оператор выполняет роль, своего рода, толкового словаря, позволяющего быстро получить определение того слова, которое введено после оператора.

Например:

Результат:

Интересная особенность оператора define: состоит в его способности искать толкования конкретных выражений. В качестве фразы он понимает все слова, написанные после оператора, в том числе и без кавычек, просто через пробел. Например:

Результат:

Правда, иногда этот оператор может и повеселить, представив материал, в котором мало кто разберется. Например, по запросу

результат будет следующим:

А по запросу:

результат такой:

ВНИМАНИЕ: наличие или отсутствие пробела между оператором define: и последующим словом на результате не сказывается.

14.11. Поиск синонимов

В хэлпе Гугла сказано, что если вы хотите найти тексты, содержащие не только ваши ключевые слова, но и их синонимы, то можно воспользоваться оператором «~».

Нам не удалось найти подтверждения этому заявлению.

Так, мы сравнили два запроса и не нашли разницы:

14.12. Поиск числовых значений

Для тех, кому приходится работать с цифрами, Гугл дал возможность искать диапазоны между числами. Для того чтобы найти все страницы, содержащие числа в неком диапазоне «от – до», надо между этими крайними значениями поставить две точки.

Например, по запросу

будут выданы страницы:

с выделенным числом «1914», а также:

с выделенным числом «1915». Подобный пример приведен в хэлпе Гугла на примере цены DVD:

14.13. Кнопка «Мне повезет» (в английском варианте – «I'm Feeling Lucky»)

Кнопка «Мне повезет» расположена на главной странице Гугла. На наш взгляд, это замечательная идея. По этой кнопке система выдает наиболее релевантный, с ее точки зрения, результат. Обычно это помогает при быстром поиске какой-то фактической информации, когда не требуется подробного изучения вопроса. После нажатия кнопки «Мне повезет» вы попадаете непосредственно на сайт, который Гугл предлагает в качестве искомого. Например, запрос по указанной кнопке:

открывает непосредственно сайт одноименной консалтинговой компании

Оглавление книги