на базу создается большая нагрузка преста 1.4.11 как можно оптимизировать?

4мс вам не сделают погоды)

query time)
 
прикладываю полностью весь файл который создался сегодня
 

Вложения

  • mysql-slow.zip
    420,2 KB · Просмотры: 0
# Time: 150205 8:44:09
# User@Host: lustravik[lustravik] @ localhost []
# Query_time: 82.165255 Lock_time: 0.000314 Rows_sent: 1098 Rows_examined: 8479196
SET timestamp=1423115049;
SELECT p.`id_product` id_product
FROM `ps_product` p
INNER JOIN `ps_layered_price_index` psi
ON
(
psi.price_min >= 1400
AND psi.price_max <= 1143837
AND psi.`id_product` = p.`id_product`
AND psi.`id_currency` = 4
)
INNER JOIN ps_category_product cp
ON p.id_product = cp.id_product
INNER JOIN ps_category c ON (c.id_category = cp.id_category AND
c.nleft >= 2
AND c.nright <= 29
AND c.active = 1)
WHERE 1 AND p.`active` = 1 AND p.id_manufacturer IN (16) AND p.id_product IN (SELECT `id_product` FROM `ps_feature_product` fp WHERE fp.`id_feature_value` = 217056) GROUP BY id_product;
# Time: 150205 8:44:13
# User@Host: lustravik[lustravik] @ localhost []
# Query_time: 85.188887 Lock_time: 0.000154 Rows_sent: 0 Rows_examined: 8467300
SET timestamp=1423115053;
SELECT p.`id_product` id_product
FROM `ps_product` p
INNER JOIN `ps_layered_price_index` psi
ON
((psi.price_min < 1400 AND psi.price_max > 1400)
OR
(psi.price_max > 1143837 AND psi.price_min < 1143837))
AND psi.`id_product` = p.`id_product`
AND psi.`id_currency` = 4
INNER JOIN ps_category_product cp
ON p.id_product = cp.id_product
INNER JOIN ps_category c ON (c.id_category = cp.id_category AND
c.nleft >= 2
AND c.nright <= 29
AND c.active = 1)
WHERE 1 AND p.`active` = 1 AND p.id_manufacturer IN (16) AND p.id_product IN (SELECT `id_product` FROM `ps_feature_product` fp WHERE fp.`id_feature_value` = 217056) GROUP BY id_product;
 
# Time: 150205 8:45:19
# User@Host: lustravik[lustravik] @ localhost []
# Query_time: 32.844072 Lock_time: 0.000099 Rows_sent: 3 Rows_examined: 36526610
SET timestamp=1423115119;
SELECT id_product
FROM
(SELECT `id_product`, @curRow := @curRow + 1 AS row_number
FROM `ps_product` p
JOIN
(SELECT @curRow := 0) r
WHERE `id_category_default`=2 AND active=1) n
WHERE n.row_number>=
(SELECT (row_number-MOD(row_number-1,3))
FROM
(SELECT `id_product`, @curRow := @curRow + 1 AS row_number
FROM `ps_product` p
JOIN
(SELECT @curRow := 0) r
WHERE `id_category_default`=2 AND active=1) x
WHERE `id_product`=18678)
LIMIT 3;
 
Народ - может кто то все таки поможет - разумеется если упасться оптимизировать количество запросов к базе то естественно работа будет оплачена. Очень нужна помощь - нужно найти ошибку из-за чего идет такая нагрузка
 
Не стал пока переходить к другому хостеру в надежде, что перейдя на более мощный тариф у этого (хотя сайт и так летает когда нет большого количество запросов к базе). Перешел на тариф с SSD дисками и 2-й ядерным ксеноном.
Сайт стал падать за день значительно реже (то есть если раньше было по 3-4-е раза в день падения то теперь либо вообще нет либо раз в день).
Далее увеличивать процессорную мощность бестолку так как становится весьма накладно по финансам.
Полез изучать логи из-за чего было очередное падение сайта минимут на 20-ть:
root@lustravik:/# cat /var/log/nginx/Для просмотра ссылки Войди или Зарегистрируйся | grep '12/Feb/2015:12:21'
178.210.157.80 - - [12/Feb/2015:12:21:02 +0300] "GET /8118-34338-thickbox/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
37.9.118.17 - - [12/Feb/2015:12:21:06 +0300] "GET / HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +Для просмотра ссылки Войди или Зарегистрируйся Для просмотра ссылки Войди или Зарегистрируйся)"
178.210.157.80 - - [12/Feb/2015:12:21:07 +0300] "-" 400 0 "-" "-"
185.6.127.238 - - [12/Feb/2015:12:21:09 +0300] "GET /Для просмотра ссылки Войди или Зарегистрируйся?yclid=5831609276793947092 HTTP/1.1" 499 0 "-" "Opera/9.80 (Windows NT 5.1) Presto/2.12.388 Version/12.12"
37.140.141.39 - - [12/Feb/2015:12:21:11 +0300] "GET /Bra/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
136.243.36.93 - - [12/Feb/2015:12:21:12 +0300] "GET /svetilniki/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
157.55.39.74 - - [12/Feb/2015:12:21:15 +0300] "GET /lustry/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
46.181.227.229 - - [12/Feb/2015:12:21:27 +0300] "GET /13_philips-belgija HTTP/1.1" 200 19658 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
136.243.36.93 - - [12/Feb/2015:12:21:27 +0300] "GET /svetilniki/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
37.190.58.6 - - [12/Feb/2015:12:21:28 +0300] "GET /quick-order HTTP/1.0" 301 0 "Для просмотра ссылки Войди или Зарегистрируйся" "Opera/9.80 (Windows NT 6.1) Presto/2.12.388 Version/12.17"
31.148.128.88 - - [12/Feb/2015:12:21:29 +0300] "GET /manufacturers HTTP/1.0" 200 30142 "-" "Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)"
91.229.94.26 - - [12/Feb/2015:12:21:30 +0300] "GET /manufacturers HTTP/1.0" 200 30294 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)"
176.14.34.129 - - [12/Feb/2015:12:21:30 +0300] "POST /modules/cashondelivery/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 302 8655 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
85.115.161.241 - - [12/Feb/2015:12:21:31 +0300] "GET /1479-25772-thickbox/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 200 41853 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
95.167.189.68 - - [12/Feb/2015:12:21:32 +0300] "GET /svetilniki/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; SputnikBot/2.3; +Для просмотра ссылки Войди или Зарегистрируйся)"
92.243.183.16 - - [12/Feb/2015:12:21:32 +0300] "GET /modules/blocklayered/Для просмотра ссылки Войди или Зарегистрируйся?id_category_layered=62&layered_price_slider=1400_440880&orderby=price&orderway=asc&n=52&p=2&_=1423728778430 HTTP/1.1" 200 8847 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/536.30.1 (KHTML, like Gecko) Version/6.0.5 Safari/536.30.1"
136.243.36.93 - - [12/Feb/2015:12:21:39 +0300] "GET /svetilniki/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
217.69.137.111 - - [12/Feb/2015:12:21:40 +0300] "GET /upload/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 200 18504313 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.2.3) Gecko/20100401 MRA 5.6 (build 03367) Firefox/3.6.3 MRSpy/0.3.11 (.NET CLR 3.5.30729)"
157.55.39.74 - - [12/Feb/2015:12:21:44 +0300] "GET /lustry/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
176.14.21.46 - - [12/Feb/2015:12:21:45 +0300] "GET /Для просмотра ссылки Войди или Зарегистрируйся?yclid=5831609943193866655 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
136.243.36.93 - - [12/Feb/2015:12:21:50 +0300] "GET /svetilniki/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
5.255.253.98 - - [12/Feb/2015:12:21:54 +0300] "GET /bra/Для просмотра ссылки Войди или Зарегистрируйся HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +Для просмотра ссылки Войди или Зарегистрируйся)"
176.14.21.46 - - [12/Feb/2015:12:21:56 +0300] "-" 400 0 "-" "-"
37.190.58.6 - - [12/Feb/2015:12:21:58 +0300] "GET /quick-order HTTP/1.0" 301 0 "Для просмотра ссылки Войди или Зарегистрируйся" "Opera/9.80 (Windows NT 6.1) Presto/2.12.388 Version/12.17"


По приведенному логу как раз видно, что на сайте побывал яндекс бот, который возможно и забрал все процессорные ресурсы, но как с этим бороться с учетом того, что необходимо чтобы поисковики изучали сайт так как для этого все и делается?
Так же видно, что яндекс пытается скачать фал выгрузки для него же в яндекс.маркет 217.69.137.111 - - [12/Feb/2015:12:21:40 +0300] "GET /upload/yml.xml в результате чего он заявляет в ходе проверки, что недоступны ряд страниц на сайте (хотя они сейчас и открываются:(
12:23 Предложения сняты с публикации
12:19 /Bra/4489-odeon-esguela-2503-1w.html 408
12:18 /Bra/4528-odeon-humber-2575-1w.html 408
12:17 /nastolnye-lampy/4490-odeon-esguela-2503-1t.html 408
12:14 /svetilniki/3312-odeon-ilsa-1968-2w.html 408
Исходя из этого получается, что яндекс забирает оба процессора под себя и ему еще и не хватает мощности чтобы проверить все страницы на предмет доступности. Что то можно с этим сделать?
 
А меня больше смущают статусы 499 - Используется Nginx, когда клиент закрывает соединение до получения ответа.
И ладно бы на html, но ведь и на jpg
Или картинку у тебя тоже престой обрабатываются?
 
latteo написал(а):
А меня больше смущают статусы 499 - Используется Nginx, когда клиент закрывает соединение до получения ответа.
И ладно бы на html, но ведь и на jpg
Или картинку у тебя тоже престой обрабатываются?
Нажмите для раскрытия...

Дело в том, что не я настраивал саму VPS (я в этом к сожалению имею очень ограниченные познания) и возможно тот кто настраивал что то не верно прописал либо не дописал.
Преста стандартная и в движке не было модификаций только модули. Картинки сгенерированы престой и лежат в соответствующей папке и разумеется заново не генерятся а просто выводятся!

Если Вы в этом разбираетесь то может поможете? Разумеется если все получится то не за спасибо!?
 
Служба поддержки хостинга написала по этому поводу следующее:
Чтобы решить проблему недоступности, необходимо кеширование. Желательно не запросов к базе, а отображение статичных страниц заранее сгенерированных и обновляемых по мере изменения на сайте. Например, для Wordpress, один из таких плагинов - wp-suprecache. К сожалению, слабо знаком с Вашей CMS, чтобы предложить что-нибудь. Но пока к базе данных будет 966 запросов для отображения главной (проверял сейчас снова с помощью strace), проблемы при повышенной посещаемости (индексация не одним поисковым ботом, а сразу несколькими) будут на любом сервере.

Есть какие то мысли?
 
lightman555 написал(а):
Служба поддержки хостинга написала по этому поводу следующее:
Чтобы решить проблему недоступности, необходимо кеширование. Желательно не запросов к базе, а отображение статичных страниц заранее сгенерированных и обновляемых по мере изменения на сайте. Например, для Wordpress, один из таких плагинов - wp-suprecache. К сожалению, слабо знаком с Вашей CMS, чтобы предложить что-нибудь. Но пока к базе данных будет 966 запросов для отображения главной (проверял сейчас снова с помощью strace), проблемы при повышенной посещаемости (индексация не одним поисковым ботом, а сразу несколькими) будут на любом сервере.

Есть какие то мысли?
Нажмите для раскрытия...
А что за хостинг не подскажите?
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху