Сайт в вебархиве

Metsof

Гуру форума
Регистрация
15 Окт 2008
Сообщения
158
Реакции
63
Подскажите в чем может быть проблема. Есть сайт который находится в вебархиве. При попытке открыть его для просмотра в архиве выдает вот такое сообщение
Page cannot be crawled or displayed due to robots.txt.

Файл robots.txt пробовал и удалять и изменять, все равно.
До регистрации домена сайт успешно открывался в вебархиве.
 
файл robots.txt показывает поисковым движкам куда можно " ползать " а куда нет, чтобы не индексировать все страницы. Если можешь редактировать его, удали все Disallow.По всей видимости вебархив видит тебя как бота.
 
До регистрации сайт в вебархиве открывался. После регистрации вот та хрень что в первом посте постоянно. robots.txt удалял полностю, заливал пустой файл все одно и то же.
 
Я спрашиваю, вы до регистрации домена открывали в вебархиве копию сайта от того же числа, что и сейчас пробуете открыть?

Добавлено через 6 минут
Короче, давайте уже домен в студию :tut: и каким запросом вы его проверяли в вебархиве.
 
На данный момент при попытке найти сайт в вебархиве выдает то что я в первом посте написал. Т.е. такое сообщение выскакивает не при попытке просмотреть какую либо страницу в архиве.
До регистрации домена сайт успешно показывался что он есть в вебархиве.
 
Назад
Сверху