Помощь ddos?

[dsdscdscde]

в последнюю неделю заметил как сайт падает 5-10 раз в день (может чаще), на 1-2 минуты.
Писал в поддержку хостинга, ничего не заметили.
У меня подключен zopim чат, там онлайн можно смотреть за посетителя и видеть их ip.
Заметил что как только сайт начинает падать идет посещение ботов (yandex llc).
ip проверял по поиску, на некоторые из них уже есть жалобы.
например:
5.255.250.89
93.158.161.37
37.9.87.158
37.9.87.224
У меня паранойя или кто то реально что-то делает?

Была мысль что это изза модуля knowband (качество модуля очень низкое), но при включенном debug никаких ошибок.

 

[_sashok]

очень смущают такие цифры у яндекс бота
YandexBot
Хиты
298,715+370
Объем
181.04 ГБ
Последний визит
28 Апр 2019 - 04:56

гугл по сравнению с яндексом:
Googlebot
Хиты
132,814+28
Объем
2.64 ГБ
Последний визит
28 Апр 2019 - 04:58

или это нормально для яндекса?
а еще есть такой, не нашел его описания
Yandex ( catchall )
Хиты
28,972
Объем
2.84 ГБ
Последний визит
28 Апр 2019 - 04:52

а за какой период столько накачали?
сколько страница сайта занимает в среднем? и какая дневная посещаемость?

а под видом официального бота могут скрываться и парсеры:

 

[bestt]

А конкретнее можно?

Устанавливается ssl. Прописывается время жизни кеша. И тог далее. Все кешируется на сервера cloudflere. Контент отдается не от вашего хостинга, а с cloudflere. При изменении чего либо на сайте, кеш в админке cloudflere очищается. + в этом методе тот что не кушается трафик, с хостинга с лимитом трафика. И не приходится платить за лишние гигабайты а порой и терабайты. + скорость отдачи контента возрастает в разы. Это как был баг с PageSpeed гугля на определенные файлы. PageSpeed зацикливался на файле, и по много много много раз перепроверял его. В итоге кушался трафик с сайта. На много много много гигабайтов.
Можно установить запрет на парсинг контента.
Но это мало может дать результатов. Но можно попробовать. Современные парсеры откуда угодно могут спарсить. Главное настройка их под определенные нужды.

 

[dsdscdscde]

а за какой период столько накачали?
сколько страница сайта занимает в среднем? и какая дневная посещаемость?

а под видом официального бота могут скрываться и парсеры:

Посмотреть вложение 103640

около 400 уник/день
объем за апрель.
смущает то что "яндекс" жрал больше гугла в 90 раз) при том что из яндекса трафика на треть меньше
я просидел полночи, заблокировал список ip которые выжирали кучу объема, (каждый ip искал в гугл на предмет спама и левого трафика), вроде бы избавился от проблемы.

 

[protoproto]

не знаю на vps они могут быть?

конечно еще и хостер может страдать overselling

 

[protoproto]

около 400 уник/день
объем за апрель.
смущает то что "яндекс" жрал больше гугла в 90 раз) при том что из яндекса трафика на треть меньше
я просидел полночи, заблокировал список ip которые выжирали кучу объема, (каждый ip искал в гугл на предмет спама и левого трафика), вроде бы избавился от проблемы.

Не лишним будет прикрутить платный cloudflare и настроить там WAF, но надо помнить что светить IPшник сервера под cloudflare нельзя прямо или опосредованно (через мейл-сервер например) иначе будет возможен ddos и прочие атаки не по доменному имени а по IP. И если сервер работал какое то время без cloudflare то IP придется менять поскольку его зафиксировали всякие сайты работающие по принципу wayback machine. И кулхацкеры точно не поленятся туда сходить.

А вообще когда крешилось надо было смотреть в логи вебсервера, сервера БД и прочих там наверняка что то есть интересное.