Как выяснить причины падения сайта?

[Freeman Liberty]

Где то около двух месяцев назад хостер стал регулярно отключать сайт. В первый раз пришло сообщение следующего содержания:

Данное письмо было направлено Вам мною в связи с тем, что на Вашем аккаунте - "XXXXXX" нашими специалистами зафиксировано устойчивое превышение лимита на использование системных ресурсов, выделенных Вам в соответствии с тарифным планом Вашего обслуживания и условиям договора.
Более подробно о том, как создается превышение лимита на использование системных ресурсов Вы сможете ознакомиться в специальном разделе нашего сайта, который расположен по адресу - Для просмотра ссылки Войди или Зарегистрируйся
Направляем Вам для анализа детальную информацию процессов, которые превышают лимит на использование системных ресурсов:
Аккаунт: XXXXXX
Время фиксации: Втр 02 Ноябрь 09:08
Кол-во запущенных процессов: 1
Использование процессора(ов 73.7 %
Использование оперативной памяти: 0.2 %
Детализация процессов:
cpu: 73.7% mem: 0.2% rss: 6.6M uptime: 00m 04s cpu time: 00m 03s i/o: 0.0%
(exe: /usr/bin/php) (cwd: public_html/domen)
(cmd: /usr/bin/php public_html/domen/index.php)
где:
cpu - Потребление процессорного времени
mem - Потребление оперативной памяти
rss - Размер процесса в оперативной памяти
exe - Исполняемый файл
cmd - Командная строка
cwd - Текущая директория процесса
Статистика вызова PHP скриптов ~ за 1 час:
761 times "public_html/domen/index.php"
14 times "public_html/domen/modules/mod_thumbsup/image.php"
4 times "public_html/domen/components/com_joomlawatch/img.php"
2 times "public_html/domen/components/com_comprofiler/plugin/user/plug_cbcaptcha/captchaindex.php"
2 times "public_html/domen/plugins/content/mavikthumbnails/style.php"
1 times "public_html/domen/modules/mod_thumbsup/mod_thumbsup.css.php"
Пожалуйста, безотлагательно проведите анализ в самый короткий срок и примите необходимые меры для погашения нагрузки. В случае продолжения, либо повышения нагрузки нашей системы Вашими процессами, мы, к нашему глубокому сожалению, будем вынуждены приостановить обслуживание Вашего аккаунта в соответствии с условиями договора.

С тех пор подобные письма приходить перестали но достаточно часто (насколько часто сказать затрудняюсь) вместо сайта можно увидеть страничку "Сайт отключен на 15 минут за превышение лимита.... и т.д."
Происходит это в самое разное время суток и по видимому не зависит от количества посещений (т.е. в день когда было 500 уников сайт не падает а когда 200 падает).
Сегодня в очередной раз столкнулся с этой ситуацией и заметил что сайт как раз в это время посещал google bot который припал на форму "Поиск по сайту".
В связи с этим вопрос может ли быть причиной падения - злоупотребление google bot поиском по сайту?
Если да - то что можно предпринять?
Если нет - то где еще искать?
Заранее спасибо за помощь !

 

[bork75]

Конечно может, особенно на слабых хостингах, поисковик может существенно "съесть" ресурсы.

Если в логах видно, что бот больше всего ходит по поиску, то нужно закрыть от него такие страницы, прописав соответственный путь в robots.txt, например

User-agent: *
Disallow: /index.php?searchword

Для лучшей организации индексации сайта поисковиком, нужно использовать xml карту сайта, для joomla, например плагин Xmap, а также отдавать правильно заголовки страниц, что бы поисковик индексировал только новые страницы.

 

[Freeman Liberty]

А есть ли другие пути кроме как блокировка через robots.txt?
Потому как именно благодоря страницам которые google индексирует по поиску на сайте я так понимаю возрастает трафик на сайт.
К примеру на этом сайте у меня всего около 250 страниц а в индексе у googla 2170, у яндекса 400. И я так понимаю значительная часть этих страниц это страницы результатов поиска по сайту.

Да что касается xmap он конечно есть. Заголовки тоже должны быть правильные - стоит Sh404sef

 

[shamantc]

Можно посмотреть в логах или в большинства панелей управления хостинга/сервера есть статистика по использованию ресурсов и т.п.

 

[Nei]

Судя по письму хостера не только поиск нагружает сервак...другие модули тоже вносят свою лепту. Оно, впрочем и не удивительно. Джумла и этим всё сказано.
Закрывайте от поисковиков по возможности страницы с проблемными компонентами, либо же их самих вырубайте если есть возможность. Если нет - меняйте хостера.
Есть еще более экстремальный вариант - меняйте админку к сайту

 

[smalllamer]

А есть ли другие пути кроме как блокировка через robots.txt?
Потому как именно благодоря страницам которые google индексирует по поиску на сайте я так понимаю возрастает трафик на сайт.
К примеру на этом сайте у меня всего около 250 страниц а в индексе у googla 2170, у яндекса 400. И я так понимаю значительная часть этих страниц это страницы результатов поиска по сайту.

Советы конечно можно использовать, как вариант...
Но лучше сделайте так в robots.txt:

 User-agent: *
 Crawl-delay: 10

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.

 

[Freeman Liberty]

Спасибо!
Наверное воспользуюсь этим советом.
Единственно волнует не скажеться ли увеличение Crawl-delay на индексации сайта?

 

[smalllamer]

Спасибо!
Наверное воспользуюсь этим советом.
Единственно волнует не скажеться ли увеличение Crawl-delay на индексации сайта?

Абсолютно. Ведь робот просто не будет посылать десятки запросов в секунду, а на остальные параметры не повлияет.

 

[Paroxizm]

Однозначного ответа на Ваш вопрос не будет. Надо подходить со всех сторон сразу:

1. Ограничение поисковиков через robots.txt
2. Установка nginx или подобного front-end сервера
3. Компрессия страниц и ресурсов (предварительное ручками и динамическое через GZip)
4. Указание правильных E-Tag, Expire и прочих заголовков, влияющих на кеширование ресурсов у клиента
5. Перенос части ресурсов со своего сайта в CND
6. Оптимизация списка элементов самой Jomla! (отключение лишних или крайне редко используемых)
7. Чистка базы материалов, удаление старых данных, к которым нет обращений пользователей. Как правило поисковик нагибает сервер именно при индексировании таких материалов, т.к. часто используемые находятся в кеше БД или CMS и не требуют дополнительных операций подгрузки с диска.
8. Анализ и оптимизация скриптов, работающих с графикой или вычислениями (всякие красивости типа водяных знаков, чартов, динамического Flash и прочего)

Если ничего не поможет - надо менять провайдера или тарифный план.

 

[Freeman Liberty]

Продолжил поиски на форуме поддержки Google.
Как выясняеться параметр Crawl-delay скорее всего никак не повлияет на работу google bot.
Для настройки скорости сканирования в панели веб-мастера Google есть специальный инструмент подробнее

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.