Генерация дорвеев на SEDv4 МобиДик (Тест марафон)

[xordeer]

железо греется в основном парсингом. если снизить частоту парсинга то можно разместить еще доров. Траф есть уже?

 

[Grigirij]

железо греется в основном парсингом. если снизить частоту парсинга то можно разместить еще доров. Траф есть уже?

Траф уже есть, около 2К уников в сутки.
Если подскажите как где нужно и что сделать в настройках, чтоб снизить частоту парсинга, то будет просто СУПЕР.

Итак небольшой отчёт как и обещал по индексации и трафику за месяц:
Траф (траф сегодня не упал, просто это на 12:30 по Москве


Индексация гуглом:


Индексация по пачкам (пачки называются датой их создания)

 

[ctac911]

нули в Яше это уже бан?

 

[Grigirij]

нет. Они в индекс пока так и не вошли после аддурла, с первой пачки всего прошло 23 дня.
На следующей неделе попробую твитер аками загнать.

 

[Angelys]

Если на серваке не хватает оперативки то это можно перевести как "не хватает оперативы для мускуля", может быть проблема в том что он не правильно сконфигурирован и ему выделено больше памяти чем есть на сервере.
С парсингом могут быть проблемы если у вас много запросов и мало интерфейсов\прокси или же если требуется напарсить много контента (config.yml шаблона). Во втором случае можно изменить конфиг в шабе и изменения тут же подхватятся. За один проход парсера можно собрать 10 сниппетов, 15-20 картинок, 10-15 видео; то есть если вы укажете 11 сниппетов то это уже будет 2 запроса к ПСам вместо одного.

 

[Grigirij]

По поводу настройки сервака думаю там всё ОК - заказывал на friendhosting с настройками под СЕД.

Апгрейдить сервак увеличив оперативы нет технической возможности у хостера, возможно придётся переезжать на более мощный.
Но этот сервак пока ещё держится, сайты грузятся в основном вполне приемлемо, подожду пару дней, возможно основной контент спарсится, нагрузка уменьшится и переезжать не придётся. Оперативу жрать начало после того как последние 60 доров туда закинул, так что жду и надеюсь, что после парсинга контента на них нагрузка снизится.

 

[baddan]

201 дор на такой сервер. както слабовато КПД. ихмо.

а жрут по практике оперативу не парсеры, а боты с ПС. и дальше будет только хуже.

p.s. тоже склоняюсь к мнению о том что настройки сервера не правильные.

 

[Angelys]

Вы должны понимать что у френд хостинга поток и они не могут тонко настраивать. Если не хватает памяти но работает всё быстро значит можно по пробывать порезать память мускуля. Парсинг не может есть памяти, парсинг может сожрать сокеты или проц.
Извините за долгий ответ, акком не пользовался и потому мог написать только 1 сообщение за день

 

[baddan]

Вы должны понимать что у френд хостинга поток и они не могут тонко настраивать. Если не хватает памяти но работает всё быстро значит можно по пробывать порезать память мускуля. Парсинг не может есть памяти, парсинг может сожрать сокеты или проц.
Извините за долгий ответ, акком не пользовался и потому мог написать только 1 сообщение за день

вобще както не логично под SED пользовать мускул

nginx+ fastCGI помнится на SED 3.x использовал.

 

[Angelys]

вобще както не логично под SED пользовать мускул

nginx+ fastCGI помнится на SED 3.x использовал.

Ммм, интересное мнение. А что тогда логично?
Если же вы имели в виду что логично использовать "nginx+ fastCGI" то это достаточно странно ведь MySQL(мускуль) это СУБД, nginx - веб сервер, fastcgi - в данном контексте это модуль для nginx'a. То есть это три разные вещи, потому уточните пожалуйста что вы имели ввиду. Спасибо =)