Нужно чтобы роботы редко ходили на мой сайт

[Crees]

Сабж, тему с

User-agent: *
Disallow: /

не предлогать. Просто нужно чтбы роботы заходили на сайт раз в неделю, а то и реже.

 

[Bereza]

На страницы добавь метатеги

<meta name="robots" content="all" />
<meta name="revisit-after" content="1 days" />

где 1 количество дней через сколько будет робот приходить

 

[Crees]

Если страниц много? У меня joomla стоит (это к сведению) можно как то глобально решить? В index.php шаблона жумлы это будет ток на главную работать?

 

[Bereza]

Если страниц много? У меня joomla стоит (это к сведению) можно как то глобально решить? В index.php шаблона жумлы это будет ток на главную работать?

Я к сожалению не помню где именно в жумле метатеги вписаны... возможно в шаблоне...

 

[Crees]

Метатеги вписаны в корневом файле шаблона - index.php. Вопрос только в том будет ли это глобально работать или только на главную страницу сайта?

 

[Bereza]

Метатеги вписаны в корневом файле шаблона - index.php. Вопрос только в том будет ли это глобально работать или только на главную страницу сайта?

Ппц... щас в хелпе яндекса посмотрел...

Можно ли управлять частотой переиндексации с помощью директивы Revisit-After?
Нет. Робот Яндекса ее игнорирует.

Походу тока для гугли работает...
На счет глобальности не в курсе но у меня на каждой странице в коде этот метатег присутствует!

 

[tvsm22]

Сабж, тему с

User-agent: *
Disallow: /

не предлогать. Просто нужно чтбы роботы заходили на сайт раз в неделю, а то и реже.

в гугле нужно добавить сайт в панель вебмастера и выставить частоту, с которой робот приходит в админке

в яндексе такой темы вроде нет

 

[Crees]

Хорошо, с гуглом понял, а в яндексе работает один далекознакомый человечек, думаю с вопросом функционала яндекса и как сказать конкретно яндексу - заходи ко мне реже, попробую напрямую у него спросить, надеюсь он ответит.

 

[tlittle]

Полагаю, что снизить частоту хождения Яндексом с помщью ревизита вполне возможно. Вот увеличить вряд ли, Яшку просто проигнорит переменную. А что мешает поставить нужную частоту и проверить через неделю?

 

[Gn00s]

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

Кто мешает поставить большие значения? например 86400? Тогда яша будет скачивать 1 страницу в сутки для индекса. Обход сайта в 30 страниц, займет месяц.