Агрессивное сканирование google ботами

[PENN.ST.]

Всем доброго времени суток.

90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.

 

[_sashok]

Всем доброго времени суток.

90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.

радуйтесь, что вас гугл "любит" - многие об этом только мечтают

а из решения: лучше помощнее сервер взять и развивать бизнеса ещё быстрее

успехов!

 

[metsys]

а как вы определили что это гугло боты, а не кто-то, кто прикинулся юзерагентом гугло-бота? айпишники проверяли кому принадлежат?

 

[PENN.ST.]

а как вы определили что это гугло боты, а не кто-то, кто прикинулся юзерагентом гугло-бота? айпишники проверяли кому принадлежат?

Зашел на Для просмотра ссылки Войди или Зарегистрируйся и вбил в поиск 66.249.64.199
Выдало что: Страна регистрации United States / США | Организация Google LLC

Или это может быть не гугл бот и его можно кинуть в черный список?

 

[metsys]

Все запросы с одного айпишника? И какая тогда частота запросов?

 

[PENN.ST.]

Все запросы с одного айпишника? И какая тогда частота запросов?

Нет, сканируют еще другие ip адреса 66.249.64.ххх , просто именно 66.249.64.199 создает самую высокую нагрузку на сервер.

Как я могу или где я могу посмотреть частоту запросов?

 

[byura]

Нет, сканируют еще другие ip адреса 66.249.64.ххх , просто именно 66.249.64.199 создает самую высокую нагрузку на сервер.

Как я могу или где я могу посмотреть частоту запросов?

попробуйте лог анализатором Screaming Frog Log File Analyser
оставьте только ботов гугла