robots.txt — управление индексацией сайта
Добавлено: 06 июл 2009, 19:50
robots.txt — управление индексацией сайта
Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —
Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt
Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)
Примеры robots.txt:
Рекомендую также ознакомиться со списком User-agent поисковых ботов
Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —
Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt
Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)
Примеры robots.txt:
Рекомендую также ознакомиться со списком User-agent поисковых ботов