Бот и robots.txt

Статус
В этой теме нельзя размещать новые ответы.
B

Bicdibus

Участник
Регистрация
5 Мар 2010
Сообщения
497
Реакции
7
поисковый бот каждый раз при посещении сайта обращается к роботс или раз считал и запомнил?
 
Меня тоже этот вопрос интересует. Мой опыт такой:
Есть сайт, у него адрес такой www. ?????. com, при этом эта же страница дублируется на www. ????. com/home. Я попробовал закрыть доступ к home через роботс.тхт, но смотрю, что все равно попадает в выдаче поисковиков кое-где. При этом процедуру закрытия сделал уже 2 месяца назад, и боты поисковиков меня уже несколько раз посетили...
 
При любом обращении поискового бота к сайту в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта. Это его прописанно в обязанностях всех поисковых машин.
 
Тут не о чем спорить. Берешь логи и читаешь.
Как показывает моя практика роботс читается очень редко. Следовательно читается 1 раз, а потом обновляется через определенные промежутки времени.
 
Народ, вообщем недавно вышла интересная статья на сеомозе
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

из которой следует, что роботс свои функции плохо выполняет. Читайте, там все хорошо описано
 
Научите брать логи и читать, а?
Стыдно, конечно, но реально для меня это - темный лес.
 
  • Заблокирован
  • #7
st_mefisto написал(а):
Народ, вообщем недавно вышла интересная статья на сеомозе
*** скрытое содержание ***
из которой следует, что роботс свои функции плохо выполняет. Читайте, там все хорошо описано
Нажмите для раскрытия...
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху