Запущена новая поисковая машина Яndex-Web

23 сентября, Москва — фирма CompTek сообщает об открытии новой поисковой машины http://yandex.ru. Поисковая машина использует механизм Яndex-Web, областью поиска являются Web-сервера доменов. su и. ru, а также иностранные русскоязычные сервера, в том числе — стран СНГ. Яndex-Web представляет собой естественное развитие программных продуктов серии Яndex (Яndex.Site, Яndex.CD, Яndex.Dict, Яndex.Lib). Как и все Яndex-системы, Яndex-Web является полнотекстовой поисковой системой с учетом морфологии русского и английского языков. В отличие от популярной морфологической надстройки к поисковой системе AltaVista (http://www.comptek.ru/alta.html), Яndex-Web является полностью оригинальной разработкой CompTek. В настоящий момент робот (сетевой паук) обходит 5000 серверов (около 4 ГБ текстов) каждую неделю, список серверов пополняется. При индексировании проверяется уникальность документов — это значит, что, если документ существует в нескольких кодировках и/или на нескольких зеркалах, в списке найденного он будет указан один раз (и, соответственно, один раз учтен в статистике). Алгоритмы морфологического разбора, основанные на грамматическом словаре, умеют нормализовать слова, то есть находить их начальную форму. Для неизвестных Яndex слов строится гипотетическая словарная статья, позволяющая обрабатывать (анализировать и синтезировать) такие слова аналогично известным. Язык запросов (как и в других продуктах Яndex), помимо стандартных логических операторов (И, ИЛИ), включает оператор исключения (И НЕ), а также позволяет осуществлять поиск внутри абзаца, внутри документа, в заголовках и других полях, а также с указанием расстояния между словами. В дополнение к обычной практике Яndex — нормализации слов при индексации и поиске — реализован также запрос по точной словоформе. Язык запросов более подробно описан на странице http://yandex.ru/ya_detail.html. Найденные документы отсортированы по релевантности, которая учитывает не только «контрастность» слова, то есть его относительную частоту для данного документа, но и расстояние между словами и положение слова в документе. Яndex-Web при индексировании запоминает позицию слова в документе, что дает возможность не только искать «с расстоянием», но и выделить (подсветить) слова, найденные в тексте. Если документы были изменены после индексирования, выдается соответствующее предупреждение.

Поисковая машина «Яндекса» отвечает на вопросы пользователей, находя нужные документы в Интернете. А размеры современного Интернета исчисляются в экзабайтах, то есть в миллиардах миллиардов байтов. Конечно же, «Яндекс» не обходит весь Интернет каждый раз, когда ему задают вопрос. Поисковая система, так сказать, делает домашнее задание.

«Яндекс» ищет по поисковому индексу — базе данных, где для всех слов, которые есть на известных поиску сайтах, указано их местонахождение — адрес страницы и место на ней. Индекс можно сравнить с предметным указателем в книге или адресным справочником. В отличие от обычного предметного указателя, индекс содержит не только термины, а вообще все слова. А в отличие от адресного справочника, у каждого слова-адресата есть не одно, а очень много «мест прописки».

Поиск в Интернете состоит из двух частей. Первая — поисковик обходит Интернет, создавая его слепок на своих серверах. Вторая — пользователь задает запрос и получает ответ с серверов поисковика.

Подготовка данных, по которым ищет поисковая машина, называется индексированием. Специальная компьютерная система — поисковый робот — регулярно обходит Интернет, выкачивает документы и обрабатывает их. Создается своего рода слепок Интернета, который хранится на серверах поисковика и обновляется при каждом новом обходе.

У «Яндекса» два поисковых робота — основной и быстрый (он называется Orange). Основной робот индексирует Интернет в целом, а Orange отвечает за то, чтобы в поиске можно было найти самые свежие документы, которые появились минуты или даже секунды назад. У каждого робота есть список адресов документов, которые нужно проиндексировать.

Когда при обходе робот видит на уже известных сайтах новые ссылки, он добавляет их в свой список, увеличивая количество индексируемых страниц. Впрочем, владелец сайта сам может помочь основному роботу «Яндекса» найти свой ресурс и подсказать, например, как часто обновляются его страницы — через сервис «Яндекс. Вебмастер».

Сначала программа-планировщик выстраивает маршрут — очередность обхода документов. При этом планировщик учитывает важные для поисковой системы характеристики сайтов, такие как, например, цитируемость или частота обновления документов. После создания маршрута планировщик отдает его другой части поискового робота — пауку. Паук регулярно обходит документы по заданному маршруту. Если сайт на месте, то есть работает и доступен, паук выкачивает запланированные в маршруте документы. Он определяет тип скачанного документа (html, pdf, swf и т. п.), кодировку и язык, а затем отправляет данные в хранилище.

Там программа разбирает документ по кирпичику: очищает от html-разметки, оставляя чистый текст, выделяет данные о местоположении каждого слова и добавляет их в индекс. Сам документ в исходном виде также остается в хранилище до следующего обхода. Благодаря этому пользователи могут найти в «Яндексе» и посмотреть документы, даже если сайт временно недоступен. Если сайт закрылся или документ был удален или обновлен, «Яндекс» удалит копию со своих серверов или заменит ее на новую.

Поисковый индекс, данные о типе документов, кодировке, языке и сохраненные копии документов вместе составляют поисковую базу. Она обновляется постоянно, но, чтобы это обновление стало доступно пользователям, ее нужно перенести на базовый поиск. Базовый поиск — сервера, которые отвечают пользователям на запросы. Туда переносится не вся поисковая база, а только ее полезная часть — без спама, дубликатов сайтов (зеркал) и других ненужных документов.

Обновление поисковой базы из хранилища основного робота попадает в поиск «пакетами» — раз в несколько дней. Этот процесс создает дополнительную нагрузку на сервера, поэтому производится ночью, когда к «Яндексу» обращается на порядок меньше пользователей. Сначала новые части базы помещаются рядом с такими же частями из прошлого обхода. Затем они проверяются по целому ряду факторов, чтобы обновление не ухудшило качество поиска. Если проверка прошла успешно, новая часть базы заменяет собой старую.

Робот Orange предназначен для поиска в реальном времени. Его планировщик и паук настроены так, чтобы находить новые документы и выбирать из огромного их количества все, хоть сколько-нибудь интересные. Каждый такой документ Orange сразу обрабатывает и выкладывает на базовый поиск. Срочных документов не очень много по сравнению с общим объемом Интернета, поэтому обновление базы в реальном времени можно делать и при дневных нагрузках на сервера.

Можно сказать, что поиск в Интернете состоит из двух больших частей. Первая — когда «Яндекс» ищет различные документы в Интернете и составляет поисковый индекс. Вторая — когда система ищет ответ на конкретный запрос пользователя в уже подготовленной поисковой базе…

Безусловно, поиск с помощью индекса ускоряет процесс ответа пользователю, как, например, предметный указатель в книге помогает быстрее найти нужное слово. Но размеры самого «предметного указателя» в поиске — огромны. Чтобы обрабатывать такие объемы данных и делать это быстро, «Яндекс» использует тысячи серверов. Сервера объединены в кластеры и даже в кластеры кластеров. Архитектура поиска «Яндекса» устроена так, что к уже существующим серверам можно легко добавлять новые — для новых данных из постоянно растущего Интернета.

Все пользовательские запросы сначала попадают в компьютерную систему «метапоиск». Метапоиск обрабатывает каждый запрос в реальном времени — выясняет все необходимые данные про запрос (из какого региона он был задан, к какому классу относится и т. п.), проводит лингвистическую обработку. Затем метапоиск проверяет, формировались ли в последнее время результаты поиска для этого запроса. Результаты поиска по часто задаваемым запросам некоторое время хранятся в памяти метапоиска, а не формируются каждый раз заново. И если вновь пришедший запрос оказался популярным, метапоиск покажет пользователю заранее сохраненные результаты.

Если же ответа в памяти нет, то метапоиск передает запрос на сервера другой компьютерной системы — «базового поиска». На базовом поиске хранится слепок Интернета, по которому ищет «Яндекс», — поисковая база. Она разбита на части, которые хранятся на разных серверах — искать ответ одновременно по нескольким частям базы данных быстрее, чем по всей базе целиком. Кроме того, у каждого сервера есть несколько копий. Это позволяет распределять нагрузку и не терять данные — если один из серверов не сможет своевременно ответить, информация все равно найдется на дублирующих серверах. Из тысяч серверов базового поиска метапоиск выбирает наименее загруженные — таким образом, чтобы вместе они содержали целую поисковую базу.

Каждый из серверов отдает список документов, в которых есть слова из запроса, обратно в метапоиск. Там они объединяются, ранжируются с помощью технологии «Матрикснет» и попадают на страницу результатов поиска. Благодаря такой организации поиска «Яндекс» может отвечать пользователю за доли секунды…

Чтобы вникнуть в суть вопроса, человеку нужно подумать, а поисковой системе — провести лингвистический анализ запроса. Только потом можно приступать к поиску. Именно при анализе запроса система решает, по каким словам и словоформам нужно искать. Например, по запросу «гостиницы в Иркутске» недостаточно найти документы с таким сочетанием слов. Хорошие ответы могут оказаться в документах со словами «отели в Иркутске», «иркутские гостиницы», «Иркутск гостиница» и т. д. Анализируя вопрос пользователя, система определяет язык запроса, проводит морфологический разбор каждого слова, выбирает нужные для поиска словоформы и отсекает лишние.

На весь анализ запроса — определение языка, разбор слов, поиск синонимов и т. д. — уходят лишь доли секунды.

Анализ запроса начинается с определения языка. Например, слово «дружина» в русском языке означает «военная рать», а в украинском — и «военная рать», и «жена». Чтобы понять, что имеет в виду пользователь, нужно выяснить, на каком языке он общается с поисковой системой. Для этого «Яндекс» смотрит, какой алфавит использует человек, какие в запросе есть характерные сочетания букв и слова. Так, по запросу «дружина князя Игоря» «Яндекс» будет искать информацию о войске, а по запросу «дружина князя Iгоря» — еще и о жене полководца, княгине Ольге.

Кроме того, при определении языка поисковая система обращает внимание на регион пользователя и язык интерфейса. Например, если человек задает вопрос из Украины и использует интерфейс на украинском языке, это будет дополнительным фактором, чтобы посчитать запрос украиноязычным.

Определив язык запроса, «Яндекс» переходит к морфологии. Знание морфологии позволяет находить документы, содержащие разные формы одних и тех же слов. Например, по запросу «стали для ножей» «Яндекс» будет искать документы, в которых есть не только сочетание «стали для ножей», но и «сталь для ножа», «ножи сталь» и т. д. Анализируя запрос, «Яндекс» составляет список возможных словоформ для каждого слова.

По словоформе, которая есть в запросе, не всегда можно точно сказать, какое слово имел в виду человек. Например, в запросе «стали для ножей» «стали» — это не только существительное «сталь», но и глагол «стать». И в одном случае («стали для ножей») нужно искать формы существительного, а в другом («стали выпадать волосы что делать») — формы глагола. В такой ситуации нужно избавиться от неоднозначности, то есть снять омонимию. Омонимия — это совпадение слов (словоформ) с разным лексическим значением.

Чтобы выбрать для поиска наиболее вероятный список форм, система обращается к статистике совместной встречаемости слов и грамматических признаков. Например, в морфологическом разборе по запросу «стали для ножей» система выберет для поиска слово «сталь». Во-первых, потому что по статистике слово «сталь» чаще встречается со словом «нож», чем «стать». А во-вторых, потому что существительное в именительном падеже (в данном случае, «сталь») часто сочетается с существительным в родительном падеже («ножей»).

Для сбора статистики «Яндекс» использует Национальный корпус русского языка и свои собственные корпуса, где собрано огромное количество текстов в электронном виде.

После снятия омонимии поисковая система уже не будет искать слова, которые пользователь точно не имел в виду. В то же время, если ограничить поиск только словами из запроса, в поле зрения поисковой системы не попадут многие нужные документы. Ведь для одного и того же понятия в разных текстах могут использоваться разные слова, например на одном сайте может стоять аббревиатура, а на другом — полное наименование.

Для того чтобы учесть все возможные варианты, «Яндекс» расширяет запрос, добавляя другие формулировки с тем же смыслом. Например, вместе со сложносокращенным «физтех» «Яндекс» будет искать и официальное «Московский физико-технический институт», а по запросу «установка скайп» — еще и английское skype. Точно так же «Яндекс» добавляет в запрос разные написания чисел («Петр I» и «Петр Первый»), близкие по смыслу однокоренные слова, варианты написания и синонимы. Так, если в запросе есть «воронежский», система может добавить к нему однокоренное «Воронеж», к «авто-сервис мицубиши» — «автосервис мицубиси», а к «ветерок» — похожее «бриз». Выбирая, какое слово добавить, а какое нет, «Яндекс» смотрит, как часто это слово встречается с другими словами запроса — и в вопросах пользователей, и вообще в текстах. Однокоренные слова и синонимы система берет из соответствующих справочников и словарей, часть из которых «Яндекс» сам составляет специально для таких случаев.

Анализируя запрос, поисковая система выделяет в нем различные объекты — географические названия, имена людей, названия организаций и т. д. Например, если поисковая система поймет, что «Сергей Зубов» — это человек, она не будет расширять фамилию «зубов» «зубным» или искать стоматологические клиники. А если в запросе «аптеки на Парке культуры» система обнаружит, что «Парк культуры» — это место, она учтет это при ранжировании: в результатах поиска первые строчки займут документы, в которых слова «парк» и «культуры» идут подряд. Для выделения устойчивых фраз и объектов «Яндекс» тоже составляет различные справочники — например, словарь топонимов (географических названий), словарь имен и фамилий, справочник организаций, словарь устойчивых словосочетаний. Получив запрос, система каждый раз проверяет по справочникам, есть ли в нем устойчивые словосочетания.

Анализируя запрос, поисковая система всегда проверяет его на грамотность. По статистике «Яндекса», около 12 % запросов содержат ошибки. Это могут быть опечатки, орфографические ошибки или абракадабра, которая получается при неправильной раскладке клавиатуры. Если искать ровно то, что указано в поисковой строке, человек так и не получит нужный ему ответ — ведь на большинстве сайтов слова все-таки написаны грамотно. Поэтому те слова, в которых часто допускают ошибки («агентство», «винегрет») или по которым нет хорошего ответа на вопрос, «Яндекс» сразу же исправляет и показывает ответ уже на исправленный запрос. Разумеется, предупреждая пользователя, что запрос был исправлен.

В некоторых случаях сложно определить, ошибся пользователь или нет. Например, ресторан «Фуджияма» очень похож на вулкан Фудзияма, а фамилия футболиста Массад на «Моссад» (а также на «массаж» и крепость «Массада»). В таких случаях, показывая ответ на исходный вопрос, «Яндекс» спрашивает, не ошибся ли человек и не хочет ли он увидеть ответ на исправленный запрос. Есть еще один вариант — когда система не уверена, опечатался человек или нет, она покажет на одной странице результатов поиска ответы сразу на два вопроса — на заданный, в котором предположительно есть опечатка, и на исправленный.

На работу с ошибками и весь лингвистический анализ уходят доли секунды. За это время система успевает определить язык запроса, разобрать каждое слово, найти синонимы и устойчивые сочетания и в конечном счете решить, документы с какими словами нужно искать.

Web — гуманизм или чернуха? Сегодня можно точно ответить — гуманизм, со счетом 404 на 134. Перевес (в три раза) — солидный для нашего времени. Запустив наконец свою поисковую машину, мы получили удобную возможность исследовать русский Web «от себя лично», не думая о том, что иностранные поисковые машины не понимают русские кодировки и вообще далеко от России, а также не мучаясь над заданием всех склонений и спряжений.

Любители изящной словесности и ревнители русского языка скажут, что сравнение «чернуха — гуманизм» слишком прямолинейно и недостаточно для столь сильного вывода. Попробуем привести ряд примеров, которые нам представляются убедительными. Простейшая антитеза: «добро — зло». Получается: добро (3710) + добрый (10 098) + доброта (593) = 14 401; зло (3153) + злой (3248) + злость (453) = 6854. Соотношение: 14 401 / 6854 = 2,1.

Аналогичные примеры: счастье (6876) + счастливый (5672) = 12 548; несчастье (1301) + несчастливый (208) + несчастный (3082) = 4591, соотношение: 12 548 / 4591 = 2,73; хорошо (28 174) + хороший (26 295) = 54 469, плохо (12 134) + плохой (6697) = 18 831, соотношение: 54 469 / 18 831 = 2,89.

Более сложный пример: любовь (17 699) + любимый (9101) + любить (19 836) = 46 636 перекрывает не только: ненависть (1313) + ненавистный (306) + ненавидеть (1460) = 2079, но и большой список вроде — секс (2816) + сексуальный (2803) + порно (123) + порнографический (339) + эротика (554) + эротический (1072) + порнуха (96) = 6803. Соотношение: 46 636 / (2079 + 6803) = 5,25.

Набор слов: мерзавец (305) + негодяй (559) + подлец (394) + сволочь (669) = 1927 перекрывается набором — вера (7013) + надежда (10 450) + любовь (17 699) = 35 162. Даже если убрать все имена собственные (наш язык запросов отличает слова с большой и маленькой буквы), то получится Вера (2570) + Надежда (2375) + Любовь (3357) = 8302, остается 35 162 — 8302 = 26 860. А «неверия» всего 141. Соотношение: 26 860 / (1927 + 141) = 11,26.

Приведенные результаты оказались для нас самих приятны и несколько неожиданны. Все, кого заинтересовала эта «занимательная арифметика», могут провести собственное исследование, зайдя на сервер http://yandex.ru и воспользовавшись поисковой системой Яndex-Web. Можно делать и более сложные эксперименты, сравнивать словосочетания (язык запросов Яndex позволяет находить два слова подряд).

Запрос «хороший / 1 человек» («хороший» стоит сразу до или сразу после слова «человек», и все это во всех склонениях) находит 308 документов. Запрос «(плохой, нехороший) / 1 человек» («плохой» или «нехороший» сразу до или после «человек») — 85. Даже вместе со словом «редиска» (46 документов) проигрывает более чем в два раза.

Интернет представляет собой глобальное добровольное объединение сетей, содержащих разнообразные ресурсы и принадлежащих всевозможным государственным, образовательным, коммерческим и прочим организациям и частным лицам. Владельцы этих сетей поддерживают связность на основе добровольных договоренностей.

Владельцы отдельных сетей, составляющих Интернет, расходуют собственные средства на приобретение и настройку оборудования и программ, оплату каналов связи, оплату труда персонала и несут прочие расходы, необходимые для функционирования своих сетевых ресурсов, поэтому они вправе распоряжаться этими ресурсами по своему усмотрению.

Сложившееся у некоторых людей представление о том, что Интернет является неким единым собранием ресурсов, доступ к которому монополизировали интернет-провайдеры, которые и придумали удобные для них самих правила и на их основании ограничивают свободу пользователей — неверно.

По природе своей Интернет децентрализован, в нем не существует ни единого правительства, ни каких-либо общих законов, обязательных для исполнения всеми участниками информационного обмена.

Однако за многие годы существования Сети были выработаны некоторые общепринятые принципы и нормы поведения, добровольное выполнение которых и обеспечивает стабильное существование и развитие Интернета.

В нашем понимании эти принципы таковы:

1.1. Владельцы и администраторы любой сети вправе устанавливать правила поведения в своей сети и доступа к своим ресурсам, ограничивая доступ (вплоть до полного отказа) для тех, кто не соблюдает эти правила.

1.2. Все пользователи Интернета имеют равное право на доступ к ресурсам в рамках правил, установленных владельцами этих ресурсов.

1.3. Никто не вправе навязывать свои правила другим владельцам и администраторам ресурсов…

В Интернете существует возможность передачи информации без предварительного запроса или согласия со стороны получателя. Наиболее типичным случаем является несогласованная рассылка обычных электронных писем (спам), но к этому же понятию относится несогласованная отправка информации и с помощью других средств общения (IСQ и прочие интернет-пейджеры, списки рассылки, телеконференции, форумы, чаты, доски объявлений, IRС, шлюзы для передачи сообщений на сотовые телефоны, пейджеры и т. п.).

По нашему мнению, недопустимы:

2.1. Несогласованная отправка одного письма множеству получателей либо несогласованная множественная отправка писем одному получателю.

2.2. Несогласованная отправка писем объемом более одной страницы или содержащих вложенные файлы.

2.3. Несогласованная отправка писем рекламного, коммерческого или агитационного характера, независимо от их объема. В частности, письма, содержащие ссылку на некий ресурс Сети и подразумевающие, что получатель должен его посетить, считаются рекламными.

2.4. Отправка на общеизвестные ролевые адреса (abuse, hostmaster, info, postmaster, MAILER-DAEMON, marketing, newsmaster, noс, root, sales, seсurity, support) писем, не соответствующих предназначению этих адресов, если только не существует явного свидетельства, что эти адреса могут использоваться и для других целей (например, адрес указан в качестве контактного на веб-сайте владельца или в базе данных ARIN/RIPE/APNIС/RIPN и т. п.).

2.5. Отправка писем, содержащих грубые и/или оскорбительные выражения и/или предложения.

2.6. Размещение в телеконференции, форуме, списке рассылки, на доске объявлений, канале IRC или любом другом аналогичном ресурсе неиндивидуального пользования информации, не соответствующей тематике этого ресурса или другим образом нарушающей правила, установленные владельцем этого ресурса, если только это действие не было заранее согласовано с владельцем или администратором ресурса.

2.7. Подписка почтового адреса на любые периодические рассылки без предварительного подтверждения владельца адреса (принудительная подписка).

2.8. Любые периодические рассылки, не содержащие явного указания на способ от них отписаться.

2.9. Отправка информации лицам, ранее явно выразившим нежелание получать эту информацию.

2.10. Поддержка любым способом вышеперечисленных действий, в том числе отказ в их пресечении или непринятие соответствующих мер. В частности, недопустимо обеспечение связности с серверами и подсетями, постоянно используемыми для несогласованных рассылок; хостинг сайтов, поддержка почтовых адресов, поддержка серверов DNS для доменов, используемых для распространения списков почтовых адресов и/или предлагающих организацию несогласованных массовых рассылок и/или рекламирующих программы, специально предназначенные для организации несогласованных массовых рассылок; а также поддержка сайтов, рекламируемых при помощи несогласованных рассылок, если есть основания считать, что владельцы и/или администраторы этих сайтов причастны к организации рассылок.

Любимая некоторыми спамерами ссылка на статью 29, часть 4 Конституции Российской Федерации («Каждый имеет право свободно искать, получать, передавать, производить и распространять информацию любым законным способом») нисколько не оправдывает их действия. Эта статья ни в коей мере не гарантирует права навязывать эту информацию тем, кто не желает ее получать.

Доступ к ресурсам должен осуществляться по правилам, установленным их владельцами. Поэтому мы считаем недопустимыми:

3.1. Действия, направленные на нарушение нормального функционирования подключенных к сети компьютеров и другого оборудования и установленных на них программ, если только эти действия не были предварительно согласованы с владельцем или администратором ресурса.

3.2. Действия, направленные на получение несанкционированного доступа или несанкционированное повышение уровня доступа к ресурсам сети, использование такого доступа, а также копирование, уничтожение или модификация любых программ или данных, не принадлежащих пользователю, если только эти действия не были предварительно согласованы с владельцем или администратором ресурса.

3.3. Передача по сети заведомо бессмысленной или бесполезной информации, создающей паразитную нагрузку на оборудование или программное обеспечение, в объемах, превышающих минимально необходимые для проверки функционирования этого оборудования, каналов связи и связности участков сети, если только эти действия не были предварительно согласованы с владельцами или администраторами всех задействованных элементов сети.

Мы признаем, что каждый пользователь имеет право на анонимность, и допускаем существование ресурсов, позволяющих реализацию этого права (например, анонимных прокси-серверов или публично доступных почтовых систем, скрывающих информацию о конкретном источнике передачи данных). Однако в случае любых нарушений правил работы в Сети с использованием этих ресурсов их владельцы и администраторы обязаны принять на себя ответственность за эти нарушения.

Чтобы не создавать возможности для безнаказанных нарушений, владельцы таких ресурсов должны иметь: 1) механизм для идентификации своих пользователей и 2) механизм воздействия на пользователей, допускающих нарушения.

Соответственно, мы считаем недопустимым существование открытых (то есть не требующих авторизации) почтовых релеев, открытых анонимных прокси-серверов, открытых серверов телеконференций и т. п., поскольку в случае нарушений их владельцы не могут эффективно воздействовать на нарушителей.

Большинство ресурсов Сети допускают анонимное использование, но в некоторых случаях от пользователя требуется предоставление информации, идентифицирующей его. Если такая информация предоставляется пользователем, то она должна быть достоверной. Поэтому мы считаем недопустимыми:

4.1. Фальсификацию своего IP-адреса и средств идентификации, используемых в других протоколах сети, за исключением случаев сокрытия их при использовании прокси-серверов, NAT, маскарадинга и прочих подобных средств при условии надлежащего контроля администратора за доступом к этим средствам.

4.2. Предоставление в качестве идентификационных данных имен, адресов, телефонных номеров, логинов, паролей, адресов электронной почты (в том числе в качестве обратного адреса в электронной почте) и т. п., не принадлежащих пользователю, либо несуществующих, за исключением случаев, когда владельцы этих данных уполномочили пользователя на их использование.

4.3. Использование несуществующих обратных адресов при отправке электронной почты.

При работе в Сети любые ресурсы становятся потенциально доступны для использования любыми пользователями, в том числе и для совершения вышеописанных недопустимых действий. Поэтому владельцы ресурсов должны обеспечивать соответствующую их настройку в целях предотвращения недобросовестного использования.

Владельцы и администраторы сети несут ответственность за все недопустимые и ненормальные действия, совершенные из их сети либо с использованием ресурсов их сети, и должны оперативно принимать меры по выявлению их источников и пресечению этих нарушений.

В случае если управление подсетью (или отдельным хостом) делегировано сторонним администраторам, владельцы и администраторы сетей, обеспечивающих связность таким подсетям, должны нести ответственность за недопустимые и ненормальные действия, совершенные из подсети, должны оперативно связываться с администраторами подсетей и предпринимать совместные меры по пресечению этих действий либо в необходимой степени разрывать связность с такими подсетями.

По умолчанию мы считаем, что наша целевая аудитория — все пользователи Интернета, любого пола и возраста. Поэтому к размещаемому на наших страницах контенту мы порой предъявляем требования даже строже, чем явно прописанные в законодательстве.

Мы стараемся оберегать детей от недетского контента — на массовых страницах работают фильтры мата и порно, а содержание рекламных баннеров проверяется на корректность и уважительное отношение ко всем сегментам нашей многообразной аудитории.

Таким образом «Яндекс» как поисковый сервис обеспечивает индивидуальный доступ к информации.

Информация, которая удаляется из Интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой «Удалить URL».

Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому «Яндекс» показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы — то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов «Яндекс» всегда старается выбрать наилучший вариант.

С этим принципом связано несколько правил, которые «Яндекс» применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди:

1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи — промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс. Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение — и, соответственно, ухудшают качество поиска. «Яндекс» автоматически исключает их из поиска или понижает в ранжировании.

2. Бывает, что в том или ином документе есть полезная информация, но воспринимать ее сложно. Например, есть сайты, которые содержат popunder-баннеры (они перемещаются по экрану вслед за прокруткой страницы и закрывают ее содержание, а при попытке закрытия такого баннера открывается новое окно) и сliсkunder-рекламу (она неожиданно для пользователя открывает рекламную страницу при любом клике по сайту, в том числе — по ссылкам). С нашей точки зрения, оба этих вида рекламы мешают навигации по сайту и нормальному восприятию информации. Поэтому сайты с такой рекламой располагаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без лишних проблем.

3. По запросам, которые не подразумевают явно потребность в эротическом контенте, «Яндекс» ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения — в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска не релевантны и к тому же могут шокировать.

4. «Яндекс» проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска — может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако «Яндекс» считает важным предупредить его о возможном риске…

Качество поиска — это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться. Поэтому нам важно постоянно совершенствовать алгоритмы ранжирования и делать их устойчивыми к внешнему влиянию (например, к попыткам некоторых веб-мастеров обмануть поисковую систему)…

Мы не продаем места в результатах поиска… На результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.

Мы считаем вышеперечисленные правила разумными. Мы не можем требовать безусловного их выполнения от других участников сетевого сообщества, но оставляем за собой право ограничивать (вплоть до полного отключения) доступ к своим ресурсам из сетей, пользователи, администраторы и владельцы которых нарушают вышеуказанные нормы поведения…