Бот уходит по таймауту?

Статус
В этой теме нельзя размещать новые ответы.

Dmytr0

Мастер
Регистрация
10 Авг 2008
Сообщения
242
Реакции
34
Несколько раз замечал в логах такое явление Христа народу яшкиного бота на сайт - хавает sitemap.xml, и все - дальше не идет. Подозреваю, что виноват в этом размер карты - 5к ссылок и вес в 800кб. Может ли бот уходить с сайта, не дождавшись загрузки карты? Или причина может быть в чем-то еще?
 
Жестковатый конечно объем...Но не загрузить столько можно только если сервер полудохлый. Такие огромные количества страниц в принципе сложновато за раз в индекс вогнать.
 
Хостер тоже не последнюю роль играет,на личном опыте убедился, хостер тупо отключал сайт за нагрузку когда боты активно шарили по страницам
 
Несколько раз замечал в логах такое явление Христа народу яшкиного бота на сайт - хавает sitemap.xml, и все - дальше не идет. Подозреваю, что виноват в этом размер карты - 5к ссылок и вес в 800кб. Может ли бот уходить с сайта, не дождавшись загрузки карты? Или причина может быть в чем-то еще?
Поэксперементируйте, попробуйте убрать сайтмап или сжать как-нибудь. Спросите у хостера, нет ли у них каких ограничений на ботов ПС.
 
Навряд ли могу грешить на хостера, боты yandexblog и yandexsomething заходят по несколько раз на дню, кроме них шарятся гуглобот (уже ~500 страниц съел за пару недель) и какие-то левые боты от radian6.com, cuil.com и еще парочки каких-то невнятных пс, подумываю, кстати - может забанить их? Все равно толку от них мало.

Вообще, как мне думается, проблему можно попытаться узреть еще и в общей низкой активности яшки, судя по темам о последнем апдейте: в индекс ничего не лезет, доры и гсы вылетают, ну и т.п.
 
Навряд ли могу грешить на хостера, боты yandexblog и yandexsomething заходят по несколько раз на дню, кроме них шарятся гуглобот (уже ~500 страниц съел за пару недель) и какие-то левые боты от radian6.com, cuil.com и еще парочки каких-то невнятных пс, подумываю, кстати - может забанить их? Все равно толку от них мало.
Вообще, как мне думается, проблему можно попытаться узреть еще и в общей низкой активности яшки, судя по темам о последнем апдейте: в индекс ничего не лезет, доры и гсы вылетают, ну и т.п.


Лишних ботов в топку!

Насчет активности так я наоборот заметил её увеличение в последнее время, точнее в последние 2 апа:-]
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху