Урезание жадности

[borodatych]

Здравствуйте.

Организовал простенькую защиту от множественной загрузки - в секунды можно сделать 5-ть обращений к серверу, иначе отдаю код 300 (Для просмотра ссылки Войди или Зарегистрируйся).
Возник вопрос, как на это отреагируют поисковые машины?
Не перестанут ли индексировать поисковики?
Не выпадут ли страницы из индекса?

Спасибо.

UPD: Яндекс в кабинете уже такое отдал:

Ошибки на стороне сервера 46
Запрещены к индексированию или не существуют 26

 

[cocs]

Ну если яндекс будет всегда шестым, то однозначно ему это не понравится. Страницы из индекса врядли выпадут, но топа им точно не видать.

 

[Горбушка]

Сообщи об этой настройке Яндексу через robots.txt и будет тебе счастье...

 

[dmx]

странное решение.
если сервер не выдерживает поисковиков, есть директива Crawl-delay, чтоб задать паузу. А не нужных ботам разным запретить доступ.

 

[borodatych]

Сообщи об этой настройке Яндексу через robots.txt и будет тебе счастье...

Подскажите плиз как настройка называется.
UPD: Сори, сперва ответил, потом сложил воедино. Вы про Crawl-delay. Не подходит, так как нет уверенности, что ее примут во внимание, плюс не спасает от ботсетей.

странное решение.

Нас, как мне сказали не большая, ботсеть китайская долбила с ≈1600-1900 уникальных IP.
Пришлось принять решение.
Если у вас есть чем поделиться, то с удовольствием выслушаю.
И есть уверенность, что на директиву Crawl-delay обращают внимание?
В любом случае, с ботсетью это не прокатит.

Вижу только один вариант, добавить, опять таки, если поисковикам не понраву такое, в список исключения IP-шки нужных поисковиков?

 

[Горбушка]

borodatych, Crawl-delay для того и задаётся, чтобы поисковик не превышал это значение. Превышает - получает законный Error 500/503...
Т.е. я не говорю отменять настройки nginx (я так понял, ты через него запретил больше 5 обращений), я сказал оповести об этой настройке поисковик...

 

[borodatych]

Т.е. я не говорю отменять настройки nginx (я так понял, ты через него запретил больше 5 обращений)

К сожалению нет, свой велосипед, через скрипт.
Если переделаю на nginx, то как сообщить?

 

[Горбушка]

Я же говорю - укажи Crawl-delay...

Все поисковики с ним дружат и будут ждать положенные 2-3 секунды... Ну или сколько задашь. А боты, ддосы и прочее - будут получать ошибку (от твоего скрипта/nginx). Только код ошибки смени на 503 Service Unavailable хотя бы... Вот 300-ую если Яндекс получит хорошего не жди уж точно.

 

[Горбушка]

Т.е. не надо ставить Crawl-delay вместо... Просто через Crawl-delay ты объясняешь поисковику, почему он получает ошибки... Как следствие - поисковик будет реже обращаться, а ошибки в вебмастере не будут появляться...

 

[borodatych]

Только код ошибки смени на 503 Service Unavailable хотя бы

Не знаю ваше направление, но знакомый "сеошник" рекомендовал почему то 403 ответ.
Какой предпочтительнее и в чем существенно отличаются?
Определения прочитал, но принципиальность отличий не понял, вроде оба хороши...