robots.txt — управление индексацией сайта

Технические вопросы, хостинг, веб-дизайн: Бесплатный хостинг!CMS — Сontent Management SystemВыбор хостинга • Скрипты • Верстка • robots.txt — управление индексацией сайтаUser-agent поисковых роботовFlash-редактор SwishMax2Монетизация сайтаРегистрация в БелГИЭ
Ответить

Аватара пользователя
4Minsk
Администратор
Сообщения: 964
Зарегистрирован: 30 мар 2009, 17:18
Откуда: Минск
Контактная информация:

robots.txt — управление индексацией сайта

Сообщение 4Minsk » 06 июл 2009, 19:50

robots.txt — управление индексацией сайта

Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —

Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt

Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)

Примеры robots.txt:

Рекомендую также ознакомиться со списком User-agent поисковых ботов
Молодо-зелено... во как! =)

Konstanta
Ефрейтор
Сообщения: 13
Зарегистрирован: 25 янв 2019, 16:37

Re: robots.txt — управление индексацией сайта

Сообщение Konstanta » 25 янв 2019, 16:45

Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов

Аватара пользователя
4Minsk
Администратор
Сообщения: 964
Зарегистрирован: 30 мар 2009, 17:18
Откуда: Минск
Контактная информация:

Re: robots.txt — управление индексацией сайта

Сообщение 4Minsk » 01 мар 2019, 13:39

Konstanta писал(а):
25 янв 2019, 16:45
Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов
Абсолютно справедливое замечание.
Но всё же не стоит недооценивать robots.txt
Создавать и настраивать под свои задачи надо обязательно.
Молодо-зелено... во как! =)

Ответить

Вернуться в «Веб-мастеру»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя