Урезание жадности

Сейчас напишу с точки зрения RFC... Т.е. как это ДОЛЖНО БЫТЬ, как есть на самом деле - ищите в справках Яндекса и Гугла :)

Статус 403 Forbidden - означает "Доступ закрыт". Это означает, что по тем или иным причинам доступа к данному URL у пользователя (читать браузер, робот, сервер и т.д.). С точки зрения RFC доступа нет и точка. Будет ли он потом - не указано.
Статус 503 Service Unavailable - означает "Сервис недоступен". И вот этот статус означает временную недоступность по техническим причинам. К примеру - избыточная нагрузка. И это означает, что через N-ое время страница будет доступна. Это время N можно даже сообщить через заголовок Retry-After.

Соответственно, с точки зрения RFC, при получении статуса 403 робот должен помечать страницу посещённой и выдавать в лог ошибок. При получении 503 - должен помечать страницу НЕ посещённой и запланировать повторный запрос.

Ещё раз, это с точки зрения RFC на протокол HTTP/1.0. А со стороны СЕО пусть другие пишут :)

P.s. Дословное описание: 503 Service Unavailable — сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). В поле Retry-After заголовка сервер может указать время, через которое клиенту рекомендуется повторить запрос. Хотя во время перегрузки очевидным кажется сразу разрывать соединение, эффективней может оказаться установка большого значения поля Retry-After для уменьшения частоты избыточных запросов. Появился в HTTP/1.0.
 
Назад
Сверху