robots.txt — управление индексацией сайта

Технические вопросы, хостинг, веб-дизайн: Бесплатный хостинг!CMS — Сontent Management System • Выбор хостинга • Скрипты • Верстка • robots.txt — управление индексацией сайтаUser-agent поисковых роботовFlash-редактор SwishMax2Монетизация сайтаРегистрация в БелГИЭ
Ответить

Аватара пользователя
4Minsk
Администратор
Сообщения: 949
Зарегистрирован: 30 мар 2009, 17:18
Откуда: Минск
Контактная информация:

robots.txt — управление индексацией сайта

Сообщение 4Minsk » 06 июл 2009, 19:50

robots.txt — управление индексацией сайта

Синтаксис robots.txt:
Директивы:
User-agent — параметр робота
Disallow — запрещение на скачивание (чтение)
Allow — разрешение на скачивание (чтение)
Clean-param —

Месторасположение robots.txt:
http://имя_сайта.зона/robots.txt

Имя файла robots.txt
robots.txt (все буквы в названии файла нижнего регистра)

Примеры robots.txt:

Рекомендую также ознакомиться со списком User-agent поисковых ботов
Молодо-зелено... во как! =)

RelHic
Капитан
Сообщения: 152
Зарегистрирован: 16 янв 2019, 05:43

Tik Tok Life Hacks

Сообщение RelHic » 20 янв 2019, 14:45

TikTok Musically Hack 2019. HOW TO BE FAMOUS in TikTok. WAYS!

Get from:
How To Hack Musically To Get A Crown

Изображение

KW:
Tik Tok Hack Ios
Tiktok Growth Hack
Musically Followers Hack 2019
Tiktok Coins Free Hack 2019
Tik Tok Hack Followers Apk
Tik Tok Hack Followers Apk
Tik Tok Followers Hack Ios
Musically Crown Hacks 2019
How To Hack Musically To Get More Likes
Tiktok Coin Hack
Tik Tok Hack Apk Download
Tik Tok Slomo Hack Deutsch
Buy Tik Tok Fans
Tik Tok Hack Apk
Tik Tok Hack Version Download

Konstanta
Ефрейтор
Сообщения: 14
Зарегистрирован: 25 янв 2019, 16:37

Re: robots.txt — управление индексацией сайта

Сообщение Konstanta » 25 янв 2019, 16:45

Весь прикол robots в том, что Яндекс учитывает от и до все, что в нем написано, а гугл может вкинуть в индекс те страницы, которые закрыты, если есть ссылки на закрытые страницы с других сайтов

Ответить

Вернуться в «Веб-мастеру»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя