Просмотр содержимого файла robots.txt / Интернет-разведка. Руководство к действию / Библиотека (книги, учебники и журналы) / В помощь Веб-Мастеру

Обложка
Аннотация

Согласно расхожему мнению, человек, владеющий информацией, владеет миром. Интернет – гигантская информационная база современности, и необходимость освоения тонкостей работы в сети скоро станет насущной для всех – от специалистов по конкурентной разведке, маркетингу и PR, в жизни которых Интернет уже играет не последнюю роль, до рядовых служащих.

Как найти в Интернете информацию о конкретных людях, компаниях и товарах? Как организовать продвижение собственного предприятия в Сети? Как уберечься от хакеров и спрятать информацию на своем компьютере от посторонних? Как бороться с вирусами и вредоносными программами? Ответы на эти и многие другие вопросы вы найдете в нашей книге – подробном путеводителе по миру Интернета. Представленные здесь практические советы помогут вам не просто выстоять в конкурентной или информационной борьбе, но и победить в ней, изучив неизвестные рядовому пользователю возможности Всемирной паутины.

Издание представляет практический интерес для специалистов по бизнес-разведке, маркетингу, рекламе и PR, а также для директоров и менеджеров, желающих эффективно продвигать свое предприятие на современном рынке.

Евгений Ющук i

Книги автора: Интернет-разведка. Руководство к действию Блог. Создать и раскрутить Противодействие черному PR в Интернете

Книга: Интернет-разведка. Руководство к действию

Просмотр содержимого файла robots.txt

Для просмотра содержимого этого файла мы рекомендуем воспользоваться скриптом, созданным Сергеем Матвеенко – специалистом по IT из Санкт-Петербурга.

Скрипт доступен по адресу: http://serge.matveenko.ru/robotstxt/.

Вот что пишет о нем сам автор.

Кнопка на панель ссылок браузера для просмотра текста файла robots.txt

Вы можете добавить на панель ссылок вашего браузера кнопку «Посмотреть robots.txt». Чтобы установить кнопку, просто перетащите эту ссылку на панель ссылок вашего браузера: Посмотреть robots.txt.

Теперь, если Вы захотите увидеть файл robots.txt сайта, который в данный момент открыт в браузере, просто щелкните по кнопке «Посмотреть robots.txt» в панели ссылок. Откроется страница, содержащая текст файла.

Кнопка работает во всех браузерах при включенном JavaScript.

При просмотре сайта компании «Автоленд» выяснилось, что файл robots.txt на ресурсе отсутствует. Таким образом, данный способ ограничения индексации поисковыми роботами в указанном случае не применяется. Для получения доказательств того, что скрипт все-таки работает, мы обратились к другому сайту, а именно – форуму на екатеринбургском портале e1 по адресу: www.e1.ru/talk/ forum/.

Результат проверки содержимого файла robots.txt на сайте форума приведен ниже.

User-Agent: *

Disallow: /mye1

Disallow: /ad.php

Disallow: /cgi/go

Disallow: /talk/forum/go.php

Disallow: /fun/photo/get_code.php

Disallow: /auto/sale/print/

Disallow: /talk/forum/forum_news.php

В ряде случаев специалиста конкурентной разведки может ждать удача – когда переход по гиперссылке, указанной в окне с результатами проверки содержимого файла robots.txt, открывает доступ в те зоны сайта, которые в принципе предназначены лишь для служебного пользования, но при этом не запрещены к посещению людьми (то есть ограничения на посещение введены исключительно для поисковых пауков). Соответственно, на наш взгляд, ничего противозаконного или неэтичного в попытке представителя конкурентной разведки взглянуть на страницы ресурса, к которым ведут гиперссылки в файле robots.txt, нет.

Оглавление книги

Оглавление статьи/книги

Похожие страницы