Помощь Googlebot стучится в директории с изображениями. Что делать?

[D-jack]

Googlebot постоянно пытается сканировать директории, в которых расположены изображения:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
И, получает 403 ошибку:
Вот кусочек лога:

На сайте, нигде нет таких ссылок.
У кого-то есть такая же проблема? Или это у меня что-то не правильно работает?

 

[scspe]

Ну не прям чтобы ломится, но в логах есть немного. Правда, Яша.
/var/log/httpd/domains/mysite.log
В robots.txt папка img/ не запрещена. Поэтому стремление понятно.

Само фото, если из админки товара открывать, то оно открывается: Для просмотра ссылки Войди или Зарегистрируйся
А Гугл уже пытается идти по иерархии вверх. А как узнал он - думать надо.

Если хранятся старые логи, то можно посмотреть когда, и что главное - когда впервые, он получил доступ прямому адресу изображения. Хорошо если так, а то вдруг был доступ к директории. Просто если он ломится, то у него в базе есть эти адреса и он стремится их проверять на изменения. Теперь, чтобы убрать из его базы это все, поможет только редирект: ко мне он щимится на адреса товаров, которые были в 2010 году. Пришлось 15000 редиректов скормить, теперь перестал щимится. Не уверена, если снять редиректы, то не попытается снова ли нащупать 404-тых мешок.

Вполне, что очень давно был доступ ко всей структуре /img/p/...
Главное что сейчас доступа нет. Осталось понять почему и когда он был. В моём случае несколько десятков попыток Яндекса, но тупо на картинку. Хотя сейчас всё сделано через медисерверы, а открывает он по старым адресам, без медиасервера. То есть нечто старое мурыжит.

Это если я все правильно понимаю.

Но существует и другой вариант. Кто-то слил ссылки на ваши картинки, чтобы Гугл наложил санкции за ошибки. Хоть и говорят, что ошибки не влияют, но опыт с 15000 редиректами мне говорит обратное.

 

[D-jack]

В robots.txt папка img/ не запрещена.

У меня в роботсе тоже не запрещена индексация. Да и нельзя ее запрещать...

Само фото, если из админки товара открывать, то оно открывается: Для просмотра ссылки Войди или Зарегистрируйся

Да, верно. Прямые ссылки есть только в админке.
В фронт-офисе все ссылки на изображения такого формата:
Для просмотра ссылки Войди или Зарегистрируйся
Как гугл узнал о том, что есть ссылки формата /img/p/3/4/1/3/3873.jpg не понятно.
Возможно, когда-то, из-за неправильной настройки и были открыты ссылки такого формата.
Но, почему, в таком случае, он не пытается просканировать изображение? Ведь оно доступно по ссылке Для просмотра ссылки Войди или Зарегистрируйся
Он лезет именно по таким адресам: Для просмотра ссылки Войди или Зарегистрируйся

 

[Darkkus]

можно закрыть от поиска просто добавив в верхнюю папку (в img) index.html

 

[D-jack]

можно закрыть от поиска просто добавив в верхнюю папку (в img) index.html

Можно по подробнее?
Имеется ввиду добавить index.html так, чтоб получился такой путь?
Для просмотра ссылки Войди или Зарегистрируйся

Как именно этот метод должен сработать?

 

[Darkkus]

Можно по подробнее?
Имеется ввиду добавить index.html так, чтоб получился такой путь?
Для просмотра ссылки Войди или Зарегистрируйся

Как именно этот метод должен сработать?

робот получит ответ 200 и по идее дальше не будет стучаться.

 

[D-jack]

робот получит ответ 200 и по идее дальше не будет стучаться.

Сейчас в /img есть index.php
Я так понимаю, что эфект должен быть тот же самый.
Если перейти по ссылке Для просмотра ссылки Войди или Зарегистрируйся идет переадресация на главную страницу

 

[Darkkus]

Сейчас в /img есть index.php
Я так понимаю, что эфект должен быть тот же самый.
Если перейти по ссылке Для просмотра ссылки Войди или Зарегистрируйся идет переадресация на главную страницу

Мда вообще этого эффекта мы и добивались, чтобы скрыть остальные папки от поисковых ботов. просто в других движках это помогает, в некоторых залит файл index.php в других index.html это скрывает вообще многое для постороних глаз.

 

[D-jack]

Хоть и говорят, что ошибки не влияют, но опыт с 15000 редиректами мне говорит обратное.

У меня тоже есть подозрение, что эти ошибки негативно влияют.
В GSC они отображаются:

 

[D-jack]

Мда вообще этого эффекта мы и добивались, чтобы скрыть остальные папки от поисковых ботов. просто в других движках это помогает, в некоторых залит файл index.php в других index.html это скрывает вообще многое для постороних глаз.

index.php есть только в /img и /img/p
А вот дальше по структуре папок уже нет.
Положить в каждую папку index.php ?