Нагрузка на сервер слишком большая

Статус
В этой теме нельзя размещать новые ответы.
вообще проблема с ботом сапы -- в том что он запрашивает страницы с малым промежутком времени
Если код сапы встроен обычным образом -- "тяжелые" CMS нагружают хост ой как неслабо.

Сталкивался с этим на разных хостингах и в разных CMS. Была та же проблема - ночь, сапа, ошибки.

И решение проблемы тоже было в коде сапы.
 
ZCFD написал(а):
вообще проблема с ботом сапы -- в том что он запрашивает страницы с малым промежутком времени
Если код сапы встроен обычным образом -- "тяжелые" CMS нагружают хост ой как неслабо.

Сталкивался с этим на разных хостингах и в разных CMS. Была та же проблема - ночь, сапа, ошибки.

И решение проблемы тоже было в коде сапы.
Нажмите для раскрытия...

как встроить необычным?
так он два раза в сутки ходит кажись, днем то все норм - возвращаются в исходное ОК.
 
Ведется ли подробная статистика посещений? Меня тоже очень сильно в свое время напрягали китайские боты, которые просто ложили сайт, а потом еще отваливай хостеру за перерасход CPU Time. В общем, плюнул я на китайский трафик :D и закрыл доступ по юзер агенту:
Код: 
Baiduspider
SeznamBot
Sogou
Sosospider
WukongBot
YoudaoBot
Все равно сколько помню, с их поисковиков трафика небыло. :D
 
ZCFD написал(а):
proc.pl
Код: 
#!/usr/bin/perl
use English;
use strict;
use warnings;
use locale;

my $uname=getpwuid($UID);  

print "Content-type: text/html; charset=utf8; \n\n";
print "<HTML><HEAD>";
print "<TITLE>Список процессов пользователя $uname</TITLE>";
print "<BODY>";
print "<p><h1>Список процессов пользователя $uname :</h1></p>";
print "<font face=\"Courier New\">"; 
open PS, "ps u -U $uname |" or die "cannot open ps!\n";
print "<table border=\"0\" cellspacing=\"25\" cellpadding=\"1\">\n";

while (<PS>)
 {
  s/</&lt;/g;
  s/>/&gt;/g;
  s/\n/<br>/g;
  s/\$//g;
  
  my @ps=split /\s+/;
  
  my ($user,$pid,$cpu,$mem,$vsz,$rss,$tty,$stat,$start,$time)=splice @ps,0,10;
  my $command=join(" ",@ps);  
  
  next if ($command =~ /ps\su\s-U/);
  next if ($command =~ /proc.pl/);
    
  print "<tr>\n";    
  print "<td>$pid</td><td>$cpu%</td><td>$mem%</td><td>$rss</td><td>$command</td>\n";
  print "</tr>\n";
 }

print "</table>"; 
print "</font>";
print "<p>".localtime()."</p>"; 
print "</BODY></HTML>";
обращаться через http

PS есно если php как cgi, если ак модуль к апачу - хз как смотреть, нагрузка вроде как от одного процесса
Нажмите для раскрытия...
Результаты такие:
res.JPG
Впрочем это видно и при выполнении top.
Вообще, сервер у них работает на данный момент без перегруза по данным все той же команды top.
Начинаю подумывать что боты сапы слишком резво шуршат и дописанный мною скипт не успевает за ними.
Пошел кубаторить дальше.
 
ZCFD написал(а):
если при обычной работе все ок -- смотри в сторону сапы

*** скрытое содержание ***
Нажмите для раскрытия...
Дельное предложение :ay:, как сам не додумался только.
Сегодня воткну.
Проверим, в скриптах ли дело.
 
deni.pc написал(а):
Дельное предложение :ay:, как сам не додумался только.
Сегодня воткну.
Проверим, в скриптах ли дело.
Нажмите для раскрытия...
Вообщем после этих манипуляций УЖЕ все ссылки на месте стали, ни одной эрроре - все случилось прямо на глазах. Плюс нашел узкие места в скриптах - то что надо оптимизировать.
Хостинг видимо реально грузил сапобот из-за недочетов в скриптах (точнее в моих дополнениях к scripto).
Подожем до утра.
Для просмотра ссылки Войди или Зарегистрируйся
 
Вы знаете, фраза "хостинг видимо реально грузил сапобот" звучит довольно смешно. Шаред-хостинг - это не VDS на 64 метра.
Это серьезные сервера, предназначенные для большого количества клиентов.
Да и сапобот не открывает по 250-300 потоков на ваш сайт.
Попросите у хостера логи и разбирайтесь. Скрипты тут вряд ли причем.
 
2 admLoki: ага, так должно быть в теории
а на практике тарифные планы большинство хостеров строят с расчетом на тихие малопосещаемые сайтики

+нагрузка не по памяти, а по cpu

Ты почитай условия предоставления услуг -- нагрузка не должна превышать 5-15%. Тяжелые CMS могут съедать и больше



PS имел дело с хостингами от 100$ в год.
 
Имел дело с хостингом, на котором было около 200 сайтов, большая часть - Joomla. Avg был в пределе 1.9-2.6. Сервер - относительно мощный, двухпроцессорный.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху