Ошибки на стороне сервера или сайта + массовое выпадение страниц из индекса

[Freeman Liberty]

Не задался для меня ноябрь.
14 числа отметил резкое (более чем 50%) падение посещаемости. До этого в течении всего года она только росла.
Полез проверять в чем дело выяснилось, что кол-во проиндексированных Яндексом страниц также сократилось более чем в двое. Сначала решил, что отхватил какой-то фильтр (хотя сайт вполне себе СДЛ).
Но 16 ноября в панели веб-мастера появилось сообщение, что больше половины страниц сайта отвалилось из-за того что поисковым роботом Яндекса был получен "HTTP-статус: Доступ к ресурсу запрещён (403)".

Но ни Яндекс-метрика, ни Google-аналитикс не зафиксировали проблем с доступностью сайта!
И даже если проблемы были - неужели кратковременный сбой в работе сервера это повод вкидывать из индекса и сводить на нет результаты многих месяцев работы над сайтом?!

Написал Платону.
Получил вполне стандартный ответ:

Ранее на запрос некоторых страниц сайта Ваш сервер, действительно, возвращал роботу HTTP код 403, в связи с этим они не были проиндексированы и временно не участвуют в поиске. По вопросу возникновения данной ошибки, пожалуйста, обратитесь к администратору Вашего сервера или сайта.

Сейчас страницы доступны, поэтому после повторного посещения роботом будут проиндексированы и с последующими обновлениями поисковых баз смогут появиться в поиске. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей Помощи: Для просмотра ссылки Войди или Зарегистрируйся .
Вы также можете ускорить процесс индексирования наиболее необходимых Вам страниц роботом, добавляя их непосредственно через форму "Сообщить о новом сайте": Для просмотра ссылки Войди или Зарегистрируйся .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.

Написал еще раз, с просьбой обратить внимание на то, что ни Яндекс-метрика ни Google-аналитикс не зафиксировали проблем с доступностью сайта.
Получил следующий ответ:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Буду признателен за дельный совет.
Что еще предпринять в данной ситуации?

 

[bat]

HTTP-статус: Доступ к ресурсу запрещён (403)

у меня на одном из сайтов такая фигня, причем страницы вылетают не все, а только некоторые, это заметно когда бот ходит часто, в итоге получается что весь сайт "моргает", а проблема у меня, как оказалось в том что БД находится на одном серваке, а сайм сайт на другом, ну и типа они не синхронятся как положено, так как находятся в разных местах физически.

 

[Freeman Liberty]

проблема у меня, как оказалось в том что БД находится на одном серваке, а сайм сайт на другом, ну и типа они не синхронятся как положено, так как находятся в разных местах физически.

Напишу хостеру, может действительно поможет.
Но если бы такая проблема действительно была - выпадение случалось бы регулярно. А у меня это первый случай за 3 года.

 

[bat]

Напишу хостеру, может действительно поможет.
Но если бы такая проблема действительно была - выпадение случалось бы регулярно. А у меня это первый случай за 3 года.

А может проблемы и не было, а потом хостер или провайдер чего настегал, технические работы в ДЦ как вариант? У меня она тоже не постоянная, может как-то от прокачки DNS зависит или что, мне друган например иногда пишет что у него сайт не пашет, а я захожу и нормально открывается, тут к гадалке не ходи что провайдеры гонят.

 

[mpv]

Буду признателен за дельный совет.
Что еще предпринять в данной ситуации?

если сам с правами доступа или настройкой сервера ничего не делал, то стоит поискать другого хостинг провайдера

 

[Freeman Liberty]

А может проблемы и не было, а потом хостер или провайдер чего настегал, технические работы в ДЦ как вариант?

Не пойму, только почему такая уверенность в том, что проблема на стороне хостера?
Я вот больше склоняюсь к версии, что это глюк Яндекса.
Во-первых, как я уже говорил, ни метрика, ни аналитикс проблем с сайтом не зафиксировали.
Во-вторых, если я правильно понимаю, Яндекс не выбрасывает страницы из индекса только за то, что до них однажды не смог достучаться робот. У меня некоторые сайты еще месяц находятся в индексе после того, как с них установлен редирект. Т.е. сайт уже месяц недоступен, а страницы по прежнему в индексе.

 

[bat]

Не пойму, только почему такая уверенность в том, что проблема на стороне хостера?

Это не уверенность, а лишь предположение, что сразу понятно из текста. Просто речь о том что причин может быть масса, в данном случае если Платон ясно и недвусмысленно ответил что была ошибка 403, что само по себе наводит только на мысль про проблемы именно на хостинге, здесь может быть как блокировка IP с которых лазит бот Яшки, так и ожидание обновления кеша DNS, или запрета на открытие системных папок сервака из .htaccess, а может на сервере было обновлено ПО и установлена какая-нибудь фича которая опять же запрещает посещение.

Во-первых, как я уже говорил, ни метрика, ни аналитикс проблем с сайтом не зафиксировали.

Дык там другие скрипты и правила )))
Имхо, проблема точно не у яндекса

 

[Freeman Liberty]

Написал запрос я саппорт хостинга.
Получил следующий ответ:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Я не особо понимаю в логах.
Но плагин (компонент) о котором идет речь установлен на сайте с момента его создания и отвечает за формирование SEF (ЧПУ) ссылок сайта. Т.е. отключить его не возможно, да и проблем раньше с ним не наблюдалось.
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Вроде нашел в чем может быть причина.
Если я правильно понял, то ошибки могут быть связаны с тем, что в компоненте установлены настройки безопасности "анти-флуд" контроль?
Сейчас задано время в секундах сверх которого контролируются запросы с одного IP - 10 сек. Максимальное число запросов - 10 т.е. возможно не более 10 запросов за 10 сек с одного IP.
Стоит ли отключить антифлуд или просто увеличить число возможных запросов?

 

[arabchik]

Стоит ли отключить антифлуд или просто увеличить число возможных запросов?

Стоит, хотя бы на время чтобы посмотреть насколько это повлияет на возврат страниц.

 

[Maybe]

Если я правильно понял, то ошибки могут быть связаны с тем, что в компоненте установлены настройки безопасности "анти-флуд" контроль?
Сейчас задано время в секундах сверх которого контролируются запросы с одного IP - 10 сек. Максимальное число запросов - 10 т.е. возможно не более 10 запросов за 10 сек с одного IP.
Стоит ли отключить антифлуд или просто увеличить число возможных запросов?

У вас по логам все понятно:
./administrator/components/com_sh404sef/logs/2013-10-sh404SEF_security_log.166.log:368:2013-10-0214:11:46Flooding37.57.133.189189.133.57.37.triolan.net

Отключайте анти-флад контроль и все должно быть нормально.