Сейчас на сайте
Сейчас на сайте 0 пользователей и 0 гостей.

Инструменты, управляющие индексированием

На сегодняшний день разработчик Web-узла располагает скромным арсеналом технических средств, которые позволяют управлять роботами поисковых машин, занятых индексированием. Основных инструментов всего два: размещение файла со специальным именем robots.txt в корневом каталоге сервера и применение meta-тэгов в контейнере "HEAD" отдельного документа.

Файл robots.txt содержит набор команд, которые позволяют закрыть от индексирования отдельные каталоги узла. Обычно закрываются каталоги, содержащие скрипты, служебную информацию и т.п. Отчасти это повышает контрастность значимых документов узла в поисковой системе. К тому же поисковые машины нередко вводят ограничение на число ресурсов, регистрируемых для одного хоста. Некоторые роботы, как это имело место, например, для робота Lycos, вообще не проводят индексирования, если указанный файл отсутствует.

Например, если пользователь поддерживает работу сервера с доменным именем www.your_name.com, то содержимое файла robots.txt должно быть доступно по URL http://www.your_name.com/robots.txt.