ответ 404 связан только с тем, что сервер НЕ МОЖЕТ отобразить эту страницу, по причине её отсутствия
загрузка сайта в браузере грит как раз о том, что сама страница-то есть
т.е. там либо фильтр какой-то стоит на ботов
либо реально неверный запрос к серверу
нужно считать что отсылается серверу браузером и ботом и смоделировать оба варианта
если при чтении страницы идет обращение к БД и там где-то ошибка - то страница то всё равно существует и будет отдана не 404, а другая ошибка
если сайт динамический, то опять же, если такая страница генерируется - 404 отдаваться не будет
загрузка сайта в браузере грит как раз о том, что сама страница-то есть
т.е. там либо фильтр какой-то стоит на ботов
либо реально неверный запрос к серверу
нужно считать что отсылается серверу браузером и ботом и смоделировать оба варианта
если при чтении страницы идет обращение к БД и там где-то ошибка - то страница то всё равно существует и будет отдана не 404, а другая ошибка
если сайт динамический, то опять же, если такая страница генерируется - 404 отдаваться не будет