Помощь Сколько ставить одновременных соединений для одного IP адреса чтобы он не обрушивал интернет-магаз ?

[lightman555]

Ситуация следующая:
Магазин на движке 1.4.11 (переходить на более новый не хочу)
открывается все шустро даже если одновременно лазит по магазину и выбирает порядка 100 человек!
товаров в нем 20К
НО периодически при минимальнейшей нагрузке по пользователям (клиентам) 5-7-мь одновременно сидящих людей в магазине - магазин полностью обрушивается минут на 5-15-ть
Служба поддержки ответила так:
За 10 минут от 13:00 до 13:10, было 7195 HTTP запросов, хотя среднее значение у Вас в 2-3 раза меньше, от 1.5 до 4 тысяч запросов в 10 минут, вероятно, медленная работа была связана именно с этим и как только лишние запросы прекратились, сайт стал работать как обычно.

Исходя из этого можно сделать вывод что скорее всего магазин парсят и тем самым вешают его
Как сделать так чтобы при таких вариантах магазин все таки не падал?
Может ка кто ограничить количество соединений на один IP например? Но непонятно сколько оставлять для обычного пользователя чтобы он с комфортом мог выбирать товар?

 

[lightman555]

Тут мысль пришла в голову - так как основная загвоздка в том что идет
огромная нагрузка на базу mysql (процессорное время почти полностью
отдается этой задаче в моменты таких ситуаций) и судя по логу запрос
строился на поиск по тегу
Для просмотра ссылки Войди или Зарегистрируйся

может эти теги вообще поубирать все?
тег этот вот здесь в карточке товара:
Для просмотра ссылки Войди или Зарегистрируйся

может его убрать так как теперь есть модуль который выводит всю серию
ниже?

так как здесь могут быть даже не конкуренты а поисковые боты которые
полезли по поиску по тегам?

 

[sentu]

У операторов мобильной связи статичиские IP клиентам выдают за отдельную плату. То есть 99% клиентов, которые сидят через мобильный интернет имеют 200 одинаковых IP адресов. Забанив такой адрес, можете лишится тысячи клиентов.

 

[lightman555]

Да я это понимаю про бан IP - я пытаюсь найти решение. пока к сожалению идей не много
попробую удрать теги чтобы не гоняли боты по поиску по ним - где то читал что это серьезно грузит сервер
но пока это все!
Остальные идеи что были предложены довольно сложны и есть риск потерять долю клиентов

 

[sentu]

Боты будут всегда лазить и так и так. Просто надо удалить плохих ботов из роботс.тхт и поставить crawl delay.
По типу:
User-agent: *
Crawl-delay: 50
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*en/forgot-your-password
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order-follow
Disallow: /*en/order-slip
Disallow: /*en/order
Disallow: /*en/search
Disallow: /*en/quick-order
Disallow: /*en/guest-tracking
Disallow: /*ru/guest-tracking
Disallow: /*ru/quick-order
Disallow: /*ru/search
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/forgot-your-password
Disallow: /*ru/order-slip
Disallow: /*ru/my-account
Disallow: /*ru/address
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/authentication
Disallow: /*ru/addresses
Disallow: /*ru/order-history
Disallow: /*ru/identity

# Sitemap
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: AhrefsBot
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: rogerbot
Disallow:/

User-agent: YaDirectFetcher
Disallow: /

User-agent: YandexCalendar
Disallow: /*.ics$

User-agent: Yandex
Crawl-delay: 50

User-agent: AbachoBOT
Disallow: /

User-agent: EtaoSpider
Disallow: /

З.Ы это роботс для престы 1.6

 

[lightman555]

Crawl-delay: 50 - я ставил разумеется

а каких роботов нужно отключить и как правильно прописать их?

мой файл робота выглядит вот так (для версии 1.4.11

# Для просмотра ссылки Войди или Зарегистрируйся
# GoogleBot specific
User-agent: Googlebot
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*id_lang=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
# All bots
User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-opc.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /attachment.php
Disallow: /guest-tracking.php
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /guest-tracking
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order
Disallow: /order-follow
Disallow: /quick-order
Disallow: /order-slip
Disallow: /password-recovery
Disallow: /search
Disallow: /*?ktr*
Allow: /modules/faq/faqs.php
# Sitemap
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
host: Для просмотра ссылки Войди или Зарегистрируйся
Crawl-delay: 50

 

[lightman555]

кстати заинтересовал вопрос в файле робота что приведен выше везде есть звездочка /*
а в моем же файле она есть не везде - это нормально?

 

[lightman555]

User-agent: AhrefsBot
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: rogerbot
Disallow:/

User-agent: YaDirectFetcher
Disallow: /

User-agent: YandexCalendar
Disallow: /*.ics$

User-agent: AbachoBOT
Disallow: /

User-agent: EtaoSpider
Disallow: /

как я понимаю эти боты опытным путем вычисленные что от них пользы мало и они заблокированы к идексации ими магазина?
а что за бот User-agent: YandexCalendar
что он делает?