Большой Белорусский форум

robots.txt — управление индексацией сайта

Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —

Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt

Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)

Примеры robots.txt:

Рекомендую также ознакомиться со списком User-agent поисковых ботов

Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов

Konstanta писал(а): ↑

25 янв 2019, 16:45

Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов

Абсолютно справедливое замечание.
Но всё же не стоит недооценивать robots.txt
Создавать и настраивать под свои задачи надо обязательно.