Помощь Перегруз WP поисковыми ботами

[nabber]

Добрый день, заметил что при переезде/смени IP сервера, начинается черти что, на сайт лезут все кому не лень. Сейчас VDS 1100mhz 512mb практически лежит вот уже второй день. Фаил httpd-log за 10 часов вырастает на 5 мегабайт. Лезут все yandex,aport,yahoo,80ног(80legs и такой кроулер есть) и такое ощущение что они пытаются весь сайт заново пере индексировать. Супер кеш плагин загнал за 4 часа ~ 5k страниц в кеш. Ну в общем не индексация а Ддос какой то. Как с этим бороться чтобы при этом поисковой выдачи не повредить.

З.Ы. Правда уже траф упал с гугла так как постоянные ошибки загрузки страниц были и из индекса по выбрасывал уже много страничек вернется ли трафик

 

[Alex]

Для крупных поисковиков вроде Google и Yandex и т.п. достаточно будет прописать в robots.txt частоту обращения к сайту

User-agent: *
Crawl-delay: 3

Хорошо-бы также в этом файле определить явно, каким поисковикам доступ разрешён - перечисленные вами загадочные 80legs и апорт вряд-ли дают хоть сколь-нибудь заметный приток посетителей, зачем их вообще пускать?

 

[nabber]

Хочу уточнить про задержку сканирования в роботс, т.к теперь гугл почему то уже сутки не ухдит с сайта и апач колом. Выставленная задержка может как ни буть негативно сказаться на индексации для меня важен именно гугл, в вебмастерс тулз написано что бот сам может определять скорость сканирования и лучше ничего не менять. Но в данный момент мне постаянно приходется перегружать апач 100 % загрузка проца и памяти в админку сайта войти не могу.

Все же поставил crawl-delay но помоему извените за выражение им до п...ды на задержку. Одновременно подключение с кучи разных айпи ботов яху и гугла.

 

[q17g]

просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt

вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер

 

[anadikt]

просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt
вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер

А чем эти левые боты могут на сайте заниматься?? у меня такое ощущение что контент тырят А вот за файлик огромное спасибо, сам бы вряд ли такой сделал!!

 

[q17g]

А чем эти левые боты могут на сайте заниматься?? у меня такое ощущение что контент тырят А вот за файлик огромное спасибо, сам бы вряд ли такой сделал!!

контент индексируют, те которые воруют контент в большинстве своем делают это по rss и один раз. им нет нужды многократно индексировать страницы

 

[yroc]

К сожалению, не все боты слушаются robots.txt, а некоторые туда даже не заглядывают. Поэтому я раньше особо надоедливых глушил через htaccess. Если память мне не изменяет, делается это так:

Deny from 12.345.678.90 Блокируем конкретный IP
Deny from 12.345.678 Блокируем IP в диапазоне от 12.345.678.0 до 12.345.678.255

С Гуглем и Яндексом так обращаться, пожалуй, не стоит, а вот с "80 ног" и т.п. - запросто...

 

[ugcker]

Иногда бывает, что боты ходят кругами по сайту из-за хорошей перелинковки. Мне часто помагала сайт-мапа, загнаная в панель веб-мастера.

 

[efs]

просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt
вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер

А на зачем делать список тех кому нельзя (вы можете и не подозревать о существовании каких-то ботов), а не создать правило вида:

User-agent: гугля
Disallow: /секретная папка
User-agent: тындекс
Disallow: /самая секретная папка
User-agent: *
Disallow: /

и все боты не указанные очевидно идут лесом

 

[tatams]

Аналогично как с Disallow - раздельные Crawl-delay тоже могут пригодиться - выставить в зависимости от приоритетов
Да и особо не пугайтесь, если сайт не мега-обновляемый - лучше гугля будет медленно перебирать страницы, чем потом в панельке ВМа напишет, что у вас лажа со скоростью сайта, что теоритически тоже фактор ранжирования