robots.txt — управление индексацией сайта
Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —
Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt
Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)
Примеры robots.txt:
Рекомендую также ознакомиться со списком User-agent поисковых ботов
robots.txt — управление индексацией сайта
-
- Администратор
- Сообщения: 970
- Зарегистрирован: 30 мар 2009, 17:18
- Откуда: Минск
- Контактная информация:
-
- Ефрейтор
- Сообщения: 13
- Зарегистрирован: 25 янв 2019, 16:37
Re: robots.txt — управление индексацией сайта
Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов
-
- Администратор
- Сообщения: 970
- Зарегистрирован: 30 мар 2009, 17:18
- Откуда: Минск
- Контактная информация:
Re: robots.txt — управление индексацией сайта
Абсолютно справедливое замечание.
Но всё же не стоит недооценивать robots.txt
Создавать и настраивать под свои задачи надо обязательно.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей