robots.txt — управление индексацией сайта

Технические вопросы, хостинг, веб-дизайн: Бесплатный хостинг!CMS — Сontent Management System • Выбор хостинга • Скрипты • Верстка • robots.txt — управление индексацией сайтаUser-agent поисковых роботовFlash-редактор SwishMax2Монетизация сайтаРегистрация в БелГИЭ
Ответить

Аватара пользователя
4Minsk
Администратор
Сообщения: 923
Зарегистрирован: 30 мар 2009, 17:18
Откуда: Минск
Контактная информация:

robots.txt — управление индексацией сайта

Сообщение 4Minsk » 06 июл 2009, 19:50

robots.txt — управление индексацией сайта

Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —

Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt

Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)

Примеры robots.txt:

Рекомендую также ознакомиться со списком User-agent поисковых ботов
Молодо-зелено... во как! =)

robots.txt — управление индексацией сайта

 

 
 

Ответить

Вернуться в «Веб-мастеру»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость