Сейчас на сайте
Сейчас на сайте 0 пользователей и 0 гостей.

Размещение файла robots.txt в корневом каталоге сервера

Подробное описание стандарта исключений и синтаксиса команд файла robots.txt вместе с другой информацией о роботах, можно найти на WebCrawler по адресу h ttp://info.Webcrawler.com/mak/projects/robots/robots.html

Вместо строго изложения этого материала, следует привести пример, который позволит сделать все необходимое, по крайней мере, для типичных ситуаций. Файл robots.txt должен содержать одну или несколько записей, разделенных пустыми строками:

# robots.txt for http://www.your_name.com

User-agent: *

Disallow: /cgi-bin/lex/ /tmp/ /css/ /pictures/

User-agent: scooter

Disallow:

Каждая запись должна содержать переменные User-agent и Disallow. User-agent задает оригинальное имя программы-робота соответствующей поисковой системы, для которого предназначена информация.

Позже появилась возможность перечислить несколько имен роботов через пробел. Disallow указывает на перечень закрываемых каталогов. В примере символ # предваряет строку комментария. Символ * является маской и означает "для всех роботов". Первая строка Disallow запрещает индексирование четырех каталогов. Затем роботу Scooter с поисковой системы AltaVista для доступа открываются все каталоги (поле Disallow пусто). Напротив, при необходимости закрыть все каталоги следовало бы написать "Disallow: /"

Файл robots.txt поддерживается практически всеми роботами, однако корневой каталог сервера может быть не доступен. В этом случае для аналогичных целей, но уже в пределах только одного документа, можно использовать специальные тэги META. МЕТА-тэги решают не только проблему запрета, но предоставляют и позитивные возможности для управления индексированием, т.к. именно они предназначены для описания и индексирования документа поисковыми машинами.. С их помощью поисковик может самостоятельно задать набор ключевых слов и дать краткое описание своего ресурса.

Команды META вносятся в "шапку" гипертекстового документа - внутри блока <HEAD>...</HEAD>. Наибольшее практическое значение имеют два типа META - description (описание) и keywords (ключевые слова).

Синтаксис этих команд весьма прост и стандартен.

<META NAME="description" CONTENT="Эта страница посвящена проблемам индексирования гипертекстовых документов WWW с помощью инструкций МЕТА".>

<META NAME="keywords" CONTENT="META, HTML, WWW, Web, паутина, поиск, определение, рекомендации, примеры использования, учебник, руководство, информация, справка, Netscape, Microsoft Internet Explorer">